2020年06月_已转行此号停用

原创云计算概述

1、云计算概念云是网络、互联网的一种比喻说法。过去在图像中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。云计算（Cloud Computing）是以虚拟化技术为核心，以低成本为目标的，基于互联网服务的动态可扩展的网络应用基础设备，用户按照使用需求进行付费购买相关服务的一种新型模式。云计算模式非常像国家的电厂集中供电模式(电厂提供点，用户付费购买)。在云计算模式下，云计算提供了用户看不到、摸不到的硬件设施(服务器，内存，硬盘)和各种应用软件等资源。用户只需要接入互联网，付费购买自

2020-06-30 09:44:00 994

原创 Apache-Hadoop简介

一、Hadoop出现的原因现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看下面这个表格:硬盘瓶颈比较可以看到，容量提升了将近1000倍，而传输速度才提升了20倍，读完一个硬盘

2020-06-30 09:43:53 710

原创 Hadoop的生态系统

在上一篇文章-Apache-Hadoop简介中，我对hadoop做了一些简介。这次，我整理了一下hadoop的生态系统。hadoop生态系统，意思就是以hadoop为平台的各种应用框架，相互兼容，组成了一个独立的应用体系，也可以称之为生态圈。通过以下的图：hadoop生态系统我们可以可以总结如下常用的应用框架（图中没有的，我也列出了几个）：1，HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。cl

2020-06-30 09:43:47 706

原创 Hadoop的单节点集群设置(独立模式)

在前两篇文章中，我们对Hadoop进行了简单的概述。接下来，我们就来了解一下Hadoop集群的安装。而Hadoop的安装模式有以下三种，我们一一来了解一下：单节点上的本地模式(独立模式) ：Local（Standalone）Mode 单节点的伪分布模式：Pseudo-Distributed Mode 多节点的安全分布式集群模式：Fully-Distributed Cluster1 本地模式介绍1.1 特点：运行在单台机器上，没有分布式思想，使用的是本地文件系统1.2. 用途用于对M

2020-06-30 09:43:41 423

原创 HDFS安装模式之伪分布式集群

1 伪分布式模式介绍1.特点 - 在一台机器上安装，使用的是分布式思想，即分布式文件系统，非本地文件系统。 - Hdfs涉及到的相关守护进程(namenode,datanode,secondarynamenode)都运行在一台机器上，都是独立的java进程。2. 用途比Standalone mode 多了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。2 平台软件说明- 操作系统: win10/

2020-06-30 09:43:33 256

原创带你从零学大数据系列之Java篇---第二十六章:IO流详解

课程大纲:IO流的简介基础的IO流(重点) 常见的其他流http://1.IO流的简介1.1. 什么是IO流IO流： Input/Output Stream流: 指的是一串流动的数据，在数据在流中按照指定的方向进行流动。实现数据的读取、写入的功能。1.2. IO流的使用场景使用File类，只能做关于文件的操作，获取属性、创建文件、删除文件、移动文件等操作，但是不包含读取文件中的内容。如果需要读取、修改文件中的内容，此时就需要使用IO流来完成了。使用场景

2020-06-29 10:19:25 163

原创带你从零学大数据系列之Java篇---第二十五章:文件操作详解

课程大纲文件操作的简介绝对路径和相对路径分隔符 File类(重点)1. 文件操作的简介顾名思义，操作磁盘上的某一个文件或者某一个文件夹。可以对他们进行创建、删除、移动、属性获取、属性设置等操作。但是，并不包含读取文件的内容、拷贝文件。在Java中，使用java.io.File类描述一个文件，或者是一个文件夹。2. 绝对路径和相对路径2.1. 相关概念路径:用来描述一个文件所在的地址，用来定位一个文件的。可以分为绝对路径和相对路径。绝对路...

2020-06-29 10:18:52 140

原创带你从零学大数据系列之Java篇---第二十四章:JVM优化

课程重点:JVM的简单理解课程目录第一章. JVM简介1.1. JVM位置JVM是运行在操作系统之上的，它与硬件没有直接的交集。 JVM直接翻译为Java虚拟机但实际应该是Java虚拟机规范。1.2. 三种JVMSun公司的HotSpot、 BEA公司的JRockit、 IBM公司的J9 VM提起HotSpot VM，相信所有Java程序员都知道，它是Sun JDK和OpenJDK中所带的虚拟机，也是目前使用范围最广的Java虚拟机。但不一定所有人都知道的是，这.

2020-06-29 10:18:45 224

原创大数据概述

一、大数据时代大数据时代的悄然来临，让信息技术的发展发生了巨大变化，并深刻影响着社会生产和人民生活的方方面面。每个国家都高度重视大数据技术的研究和产业发展，纷纷把大数据上升为国家战略加以重点推进。企业和教育机构也纷纷加大技术，资金和人员投入力度，以期在“第三次信息化浪潮”中占得先机，引领市场。1、三次信息化浪潮第一次信息化浪潮1980年前后，个人计算机的普及，使得计算机走入企业和家庭，大大提高了社会生产力，也使得人类迎来了第一次信息化浪潮，Intel、IBM、苹果，MicroSoft、联想等

2020-06-29 10:18:25 1579

原创带你从零学大数据系列之Java篇第二十二章:Lambda表达式

课程重点:1 函数式接口函数式接口的概念函数式接口的判断 @FunctionalInterface2 lambda表达式的语法基础的语法语法的精简（参数、方法体）3 函数引用静态、非静态、构造方法的引用对象方法的特殊引用22.1. Lambda表达式的简介22.1.1. Lambda表达式的概念lambda表达式，是Java8的一个新特性，也是Java8中最值得学习的新特性之一。lambda表达式，从本质来讲，是一个匿名

2020-06-29 10:18:19 180

原创相比于手动搭建集群,使用Ambari或者CDH的必要性

1. Ambari简介Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的（基

2020-06-28 09:31:55 409

原创 Kafka与ActiveMQ的区别与联系详解

1. 背景分析消息队列这个类型的组件一直是非常重要的组件，当经过两家企业后我就很坚信这个结论了。队列这种东西，最广泛的作用还是在于解耦，宽泛一点的说，它可以将不同部门的工作内容进行有效的整合，基于一个约定好的格式，就可以两头互相不干扰的进行开发。可以说这个生产消费的思想不仅仅适用于程序也适用于非常多的地方。目前对于我看到的来说，Kafka更多的还是做为一个数据源，数据桥梁的作用，不同业务之间的沟通。比如需要实时接入A部门的业务数据的话，就会有这样的手段：落地到HDFS的数据会用来进行一些算法上

2020-06-28 09:31:45 350

原创 MySQL与Redis的区别与联系详解

1. MySQL和Redis的数据库类型MySQL是关系型数据库,主要用于存放持久化数据,将数据存储在硬盘中,读取速度较慢.Redis是NOSQL,即非关系型数据库,也是缓存数据库,即将数据存储在缓存中,缓存的读取速度快,能够大大的提高运行效率,但是保存时间有限.2. MySQL的运行机制MySQL作为持久化存储的关系型数据库,相对薄弱的地方在于每次请求访问数据库时，都存在着I/O操作，如果反复频繁的访问数据库.第一:会在反复链接数据库上花费大量时间，从而导致运行效率过慢;第二:反复的访问数

2020-06-28 09:31:35 252

原创带你从零学大数据系列之Java篇---第二十章:多线程基础

课程重点:线程相关概念的理解线程的生命周期线程的常用方法20.1. 线程的简介20.1.1. 串行与并发如果在程序中，有多个任务需要被处理，此时的处理方式可以有串行和并发：串行（同步）：所有的任务，按照一定的顺序，依次执行。如果前面的任务没有执行结束，后面的任务等待。并发（异步）：将多个任务同时执行，在⼀个时间段内，同时处理多个任务。生活中，其实有很多串行和并发的案例。最常见的就是排队买饭。小明到KFC吃饭，发现有好几个窗口可以点餐。选择了其中的一个窗口进行排队。

2020-06-28 09:31:24 167

原创带你从零学大数据系列之Java篇---第二十一章:多线程高级

课程重点:临界资源问题理解线程锁同步代码块同步方法单例中的同步唤醒等待机制线程池(了解)21.1. 临界资源问题21.1.1. 临界资源问题简介1. 临界资源在一个进程中，多个线程之间是可以资源共享的。如果在一个进程中的一个资源同时被多个线程访问，这个资源就是一个临界资源。如果多个线程同时访问临界资源，会对这个资源的值造成影响。2. 临界资源问题多个线程同时访问一个资源的情况下，一个线程在操作这个资源的时候，将值取出进行运算，在还没来得及进

2020-06-28 09:31:12 138

原创带你从零学大数据系列之Java篇---第十八章:集合(Set)

课程重点:Set的存储特点数据结构-哈希表(了解) 数据结构-二叉树(了解) TreeSet的排序去重(了解) HashSet的去重18.1. 存储特点Set集合中，没有下标的概念。 Set集合，是一个去重复的集合。在Set集合中不会添加重复的元素的！在向一个Set集合中添加元素的时候，会先判断这个元素是否已经存在了。如果存在，则不再添加。 Set集合中，数据的存储是无序的。无序：所谓的无序，其实指的是元素的添加顺序和存储顺序是不一致的。无序，并不意味着随

2020-06-24 11:35:18 165

原创带你从零学大数据系列之Java篇---第十九章:集合(Map+Collections)

课程重点:Map的存储特点 Map的常用方法 Map的遍历 TreeMap的去重和排序(了解) HashMap的去重(了解) Collections工具类中常用方法19.1. Map集合的存储特点Map是双列集合的顶级接口，这个接口并没有继承自Collection接口。在Map中，更多强调的是一层映射关系。在Map中存储的数据，是一个个的键值对（Key-Value-Pair），键和值是一一对应的。需要注意:由于Map集合并没有实现Iterable接口，因此这个集合是

2020-06-24 11:32:22 177

原创带你从零学大数据系列之Java篇---第十七章:集合(List)

课程重点:List的概念 List的常用方法 List的遍历数据结构:数组与链表原理数据结构:链表代码实现(了解)17.1. 存储特点List集合是单列集合，是Collection接口的子接口。Collection接口中所有的方法，这里都有。同时，这个集合比Collection集合，多个若干方法。在List接口中，是有下标的概念的。多出来的这些方法，基本也都是围绕着下标操作的。17.2. List API17.3. 示例代码import java.util.Arr

2020-06-24 11:31:25 203

转载 SpringBoot2.x系列教程76--Java测试详解

一. 关于测试1. 单元测试的概念在计算机编程中，单元测试是一种软件测试方法，用以测试源代码的单个单元、一个或多个计算机程序模块的集合以及相关的控制数据、使用过程和操作过程，以确定它们是否适合使用。通俗的说，我们在做单元测试时，只是测试了一个代码单元，也就是每次只测试一个方法，不包括与正测试组件相交互的其他所有代码组件。2. 集成测试的概念集成测试(有时也称集成和测试，缩写为 I&T)是软件测试的一个阶段，在这个阶段中，各个软件模块被组合在一起来进行测试。通俗的说，我们在集成测试中是

2020-06-24 11:31:07 149

原创算法从入门到精通6之插入排序

一、概述上一节我们说过排序是算法中的一部分。所以我们学习排序也是算法的入门，为了能让大家感受到排序是算法的一部分，我举个例子证明一下：比如麻将游戏，发完牌之后需要对手上的牌进行排序，大家想想，麻将排序如何排呢？它有什么特点呢？而且在摸牌打牌的过程中，我们要不断的排序，如何排序呢？选择什么排序算法最快呢？以上这种情况我们就可以分析选择哪种排序算法更高效。比如下图已经有一副固定顺序的牌了：此时轮到我们摸牌，摸到的牌如下：此时，要将这个“三同”放到上面的一副牌中，就存在如下规律：1、正

2020-06-24 11:31:01 194

原创带你从零学大数据系列之Java篇---第十六章:集合基础

课程重点:集合的概念理解集合的基本方法使用16.1. 集合是的简介16.1.1. 集合的概念集合与数组类似，是一个数据容器，用来存储引用数据类型的数据。在Java中，集合不是泛指某一个类，而是若干个类组成的数据结构的实现。Java的集合类是java.util包中的重要内容，它允许以各种方式将元素分组，并定义了各种使这些元素更容易操作的方法。Java集合类是Java将一些基本的和使用频率极高的基础类进行封装和增强后再以一个类的形式提供。Java集合类是可以往里面保存..

2020-06-23 10:42:21 156

原创带你从零学大数据系列之Java篇---第十五章:泛型

课程重点:泛型的理解泛型在类上的使用泛型在接口上的使用泛型在方法上的使用15.1. 泛型的简介泛型，指的是“泛指的类型”。将数据类型参数化。使用泛型，将某些类型，在类与类、类与接口、方法之间进行传递。类似于 “传参” 。15.2. 泛型的好处用在集合中，限制存储的元素的类型，不用再使用元素的时候，逐个元素进行类型检查。可以提高代码的可读性。可以使某些发生在运行时期的逻辑错误问题，提前到编译时期。15.3. 泛型的定义方式泛型，是定义在一

2020-06-23 10:42:11 141

原创带你从零学大数据系列之Java篇---第十四章:正则表达式

课程重点:正则表达式简单理解正则表达式的简单使用14.1. 正则表达式的简介14.1.1. 正则表达式的简介正则表达式，不是Java特有的。是一套独立的，自成体系的知识点。在很多语言中，都有对正则的使用。正则表达式，使用来做字符串的校验、匹配的，其实正则只有一个作用: 验证一个字符串是否与指定的规则匹配。但是，在很多的语言中，都在匹配的基础上，添加了其他的功能。例如Java: 在匹配的基础上，还添加了删除、替换... 功能14.1.2. 正则表达式的使

2020-06-23 10:41:58 201

原创带你从零学大数据系列之Java篇---第十三章:字符串

课程重点:字符串概念字符串的内存理解字符串的常用方法可变字符串的常用方法13.1. 字符串的简介13.1.1. 字符串的概念字符串，其实是由若干个字符组成的一个有序序列。用String来表示一个字符串。字符串中的内容，用双引号括起来。在双引号中，字符的数量不限制，可以是0个，可以是1个，也可以是多个。String str1 = "hello world";13.1.2. 字符串的内存分析字符串，是一个引用数据类型。但是字符串的引用，和之前在面

2020-06-23 10:41:08 181

原创大数据系列文章之数据中台-二:建设数据中台

大多数的数据人，做数据中台习惯从自顶向下进行建设。这种做法的优点是能够通盘考虑全局问题，保持数据的一致性，但坏处是变动的成本比较高，难以适应高速变化的业务结构。仔细想想，阿里是先有了电商业务，才有了大中台落地的基础；头条做好了抖音，才有了算法中台的诞生；腾讯IM深耕多年，也是基于IM逻辑做数据中台。其实数据中台更多的要走到业务中，为业务贡献价值，才能真的称之为“中台”。总的来说，在数据服务之上，就是应用层，这里可以分为两类，一类是通用性数据应用，包括报表系统、大屏系统、自助分析系统，本身不具备行业属性，

2020-06-23 10:41:01 188

转载分布式缓存Hazelcast详解及原理探究

一. Hazelcast1. Hazelcast简介Hazelcast 是由Hazelcast公司开发的一款开源的分布式内存级别的缓存数据库，可以为基于JVM环境运行的各种应用提供分布式集群和分布式缓存服务。利用Hazelcast可以满足“分布式”、“集群服务”、“网格式内存数据”、“分布式缓存“、“弹性可伸缩服务”等的要求。2. Hazelcast的应用Hazelcast提供了对很多 Java 接口的分布式实现，如Map, Queue, ExecutorService, Lock以及

2020-06-22 11:16:45 17047 1

原创 SpringBoot整合Hazelcast实现分布式缓存

一. 分布式缓存代码实现步骤1. 创建web项目我们按照之前的经验，创建一个web程序，并将之改造成Spring Boot项目，具体过程略。2. 添加依赖包<dependency> <groupId>com.hazelcast</groupId> <artifactId>hazelcast</artifactId></dependency><dependency> <g

2020-06-22 11:16:32 2175 2

转载 Web开发中的Session详解及原理分析

一. HttpSession机制1.HTTP协议与HttpSession的状态保持Session经常被翻译为会话，其本来的含义是指有始有终的一系列动作/消息。比如打电话时，从拿起电话拨号到挂断电话这中间的一系列过程可以称之为一个Session。而在网络中，Session是指从一个浏览器窗口打开再到关闭的这个期间。互联网应用层协议基本都是基于 HTTP 和 HTTPS 协议的，它们的本身都是无状态的，也就是只负责网络的请求和响应。我们只需要告诉服务器我们需要什么，服务器就会给我们返回相应的资源。.

2020-06-22 11:16:19 905 1

原创整合JPA、Redis实现分布式的Session共享

一.SpringBoot整合JPA、Redis实现分布式的Session共享1. 创建web项目我们按照之前的经验，创建一个web程序，并将之改造成Spring Boot项目，具体过程略。2.添加依赖包<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jp

2020-06-22 11:16:02 184 1

原创从零学大数据系列之Java篇---第十章:包装类和常用类

课程重点:包装类(会用) 装箱拆箱(会用) 字符串与基本数据类型的转换(会用) 常用类Math(常用的几个方法会用) 常用类Random(会用) 常用类BigInteger,BigDecimal(会用) 常用类Date(会用) 常用类SimpleDateFormat(会用)(重点) 常用类Calendar(了解)10.1. 包装类的简介10.1.1. 包装类的概念包装类，就是在基本数据类型的基础上，做一层包装。每一个包装类的内部都维护了一个对应的基本数据类型的属性，用来

2020-06-19 11:02:39 188

原创大数据系列文章之数据中台-一:如何理解数据中台？

如果说中台提供的是通用的业务解决方案+通用的技术解决方案，那么对应到数据中台，就是提供可复用的数据业务能力+可复用的数据技术能力。举个例子，对于小团队而言，希望通过我们的数据中台分析潜在的商业机会，这时候直接甩过去几张表就不合适。从小团队的视角看，我们希望有一个分析平台，有一些自主分析工具，能够快速了解我们目前能够统计到的数据及其涵义。那么这个时候，数据中台= 数据仓库 + BI分析工具 + 元数据平台 + 前后端模块，最好前端能够有个自主搭建报表的工具，通过直接读取数据仓库的数据，来实现快速搭建分析平台的

2020-06-19 11:02:35 475

空空如也

空空如也