hailunw的专栏

1）下载安装Eclipse2）安装Scala IDE for Eclipse

简介RPC（Remote Procedure Call，远程过程调用），通常包含两个部分，序列化和通信协议。常用序列化协议包括json，xml，hession，protobuf，thrift，text，bytes等。当前常用远程通信技术包括基于HTTP的RESTful和基于TCP的RPC协议。RESTful接口RESTful，是Representation State Transfer的缩写。它包含以下概念。资源（Resource），表示网络上的一个实体（文本，图片，歌曲，服务，等）

简介Spring Cloud是一系列框架的有序集合，是一种常见的微服务框架。同类产品有ServiceComb，ZeroC ICE等。Spring Cloud基于SpringBoot的开发便利性，简化了分布式系统基础设施的开发，如服务发现注册，配置中心，消息总线，负载均衡，断路器，数据监控等，都可以以SpringBoot的开发风格做到一键启动和部署。...

1）

1）

1）简介2）安装

1）FastDFS的简介FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。2）FastDFS的安装步骤2.1）安装gccyumi.

Redis的简介以及简单应用

HIVE中UDTF的使用

构建DWD层往DWD层加载数据

Docker简介

1）在主服务器99上下载安装Puppetyum install puppet

Puppet是一种Linux、Unix、windows平台的集中配置管理系统，使用自有的Puppet描述语言，可管理配置文件、用户、cron任务、软件包、系统服务等。puppet把这些系统实体称之为资源，Puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。Puppet采用C/S星状的结构，所有的客户端和一个或几个服务器交互。每个客户端周期的（默认半个小时）向服务器发送请求，获得其最新的配置信息，并且严格按照配置文件来配置客户端，保证和该配置信息同步。配置完成以后,Puppet客户端

Kubernetes的概念以及特点Kubernetes是Google团队的一个开源项目，它的目标是管理跨多个主机的容器，提供基本的部署，维护以及应用伸缩，主要实现语言是go语言。kafka也是go语言。Kubernetes具有，易学（轻量级，简单容易理解），便携（支持公有云私有云和混合云），可扩展（模块化，可插拔），自动重调度重启和复制。分布式的基本操作是部署，调度以及伸缩。Kubernetes的常用术语节点（Node），一个节点是一个运行Kubernetes的主机。容器组（Pod），

1）在66服务器（主服务器）上下载安装监控软件Ganglia。yum install -y epel-release ganglia-gmetad ganglia-devel ganglia-gmond rrdtool httpd ganglia-web php4）在88和99服务器（非主服务器）上下载安装监控软件ganglia。yum install -y epel-release gmond ganglia-gmond5) 在66服务器上作如下配置。 [root@Ne...

DataFrameDataSet

原生流模式（Native）微批处理

内核术语：宽依赖：通常在shuffle之前，比如一个操作只依赖之前的一个操作。窄依赖：比如在shuffle阶段，需要等待前面所有的操作完成之后才可以进行shuffle操作。DAG，有向无环图，在spark中指代spark程序任务的流程图。DAG的开始是从创建RDD开始，DAG的结束是到Action（比如saveAsTextFile）结束。...

1）Standalone模式2）HA集群模式3）Yarn模式

Spark是一个大数据领域统一数据分析框架， 速度快，使用简单，通用性，可以运行任何地方。

ElasticSearch是Java开发并且是当前最流行的开源的企业级搜索引擎，能够达到近实时搜索，稳定可靠快速安装使用方便。客户端支持Java, .net各种编程语言。ElasticSearch底层原理：

MongoDB的使用场景：传统数据库MySQL无法胜任的三高（High Performance， High Storage， High Scalability）场景。High Performance， 对数据库高并发读写。High Storage，对海量数据的高效率存储和访问需求。High Scalability&Availability，对数据库的高可扩展和高可用。具体场景：1）社交场景，使用MongoDB存储用户信息以及朋友圈信息地理位置等。2）游戏场景，使用MongoD

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zo...

1）卸载已安装的mysql2）安装mysql

HIVEFacebook开源用于解决海量结构化日志的数据统计，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是将HQL转化成MapReduce程序。

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。

Flume最初是Cloudera开发的实时日志收集系统，2011年10月22日Cloudera对Flume进行了里程碑式的改动，重构核心组件，核心配置以及代码架构，并将其纳入了Apache

分布式存储简介

分布式计算简介