XuXuemin的专栏

Flink的任务提交流程过程说明，Flink集群的运行模式及其下的任务部署模式

Hive、SparkSQL、Presto、MaxCompute平台数据仓库中行转列的使用案例介绍

数据预处理的介绍，数据标准化的具体方法阐述

介绍泊松分布和伽马分布，及其两者的关系

介绍MySQL CDC源表的几种接入方式

Flink SQL的窗口函数介绍和使用。水印无法触发的解决办法

Flink的时间语义介绍，状态介绍，包括状态的分类等

距离的分类和计算

Flink的时间语义介绍，窗口及窗口函数的介绍

Flink组件介绍，包括JobManager，TaskManager等。Flink的任务运行的步骤和原理。

Hive到Spark-SQL的演变过程

Spark算子使用过程中遇到的数据倾斜问题及其解决方法，该数据倾斜也适用于其他计算引擎中

Spark Streaming的介绍，包括原理，数据来源和数据处理机制

Spark的运行服务相关的内存介绍

Spark的Shuffle过程的个人理解，包括分区，Map和Reduce的写入读取和分解等。

Hive配置参数的介绍和解释，包括对应MapReduce引擎和对应Tez引擎的，同时也记录了在使用Tez引擎过程中的报错解决办法。

Spark任务提交后的处理流程，主要是指Spark对计算任务的预处理、环境资源、分区及stage划分的处理

介绍Spark的原理和核心组件，RDD算子的介绍，安装和配置说明

Hive引擎介绍及Tez引擎的使用配置

Hive的运行原理，包括服务组件介绍，存储格式、压缩格式等的实践总结

Hive的介绍及其安装和配置

HBase安装和配置说明

HBase（Hadoop Database）数据可以放在单主机上，非HDFS上，但不是分布式的。一般都是放在HDFS上。HBase需要Zookeeper。结构体系Master：为RegionServer分配Region；负责RegionServer的负载均衡；发现失效的RegionServer便重新分配其上的Region；管理用户对table的增删改操作。看着作用不是很大，只要活着即可。RegionServer：维护Region，处理对这些Region的IO请求；负责切分在运行过程中变得过大的Reg

概述Zookeeper（下简称zk）的基本数据模型为一个树形结构（类似文件系统结构）。zk的节点（znode）分为临时节点和永久节点。临时节点对当前session有效，永久节点永久有效。（同HIVE UDF）。永久节点下面可以挂子节点，临时节点下面不能再挂任何节点。znode特点：znode：每一个节点都有一个id，id不会重复；每一个id都有一个父id（pid）。每一个节点上的数据发生了变化，这时候会引发数据版本号cversion变化（版本号+1）znode上面不要存放太大的数据（几个kb），

这里以Hadoop 2.7为例，如果新版有变更以新版为主。ResourceManager相关配置参数：yarn.resourcemanager.address：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032yarn.resourcemanager.scheduler.address：ResourceManager 对ApplicationMaster暴露的访问地

Yarn（yet another resource negotiator）是分布式调度引擎，Hadoop2加进来的，算是抽象出来的。主要是监管节点上使用多少内存和CPU，然后把任务分配到空闲的节点，Yarn只做调度，不做计算。不光MapReduce可以使用Yarn，例如Spark，Storm，Tez，Mpi等很多也可以用于Yarn上。组件ResourceManager：资源管理者，一般和Nam...

HDFS全称是Hadoop Distributed File System。hdfs中的block的大小默认128MB（hadoop2.x，1.x是64MB），文件占用的大小不到128也占用128M。默认每个block有3个备份（dfs.replication可设），备份在一个rack（机架）上的不同节点，备份和原文件一般不在一个机架。如果一个节点宕掉，其中的block会生成新的到其他节点（宕机的...

是一个分布式协调服务的开源框架。Zookeeper的层次关系叫Znode，Zookeeper可用来监测Hadoop集群中每个节点的配置文件和状态的变化，Zookeeper可将配置同步到各个节点。Zookeeper可用来做HA。服务状态Follower的运行状态包括：LOOKING（当前节点不知道Leader是谁，在搜寻）；LEADING（当前节点成为了Leader）；FOLLOWING（Lea...

Map端Map执行完，开始输出，也就是写入到环形内存缓冲区，输出时按照输出的key进行分区（Partition，分区方式默认按照key的hash值对reducer个数取模）。数据在环形内存缓冲区，超过阈值（默认100MB，可mapreduce.task.io.sort.mb来设定，是指一个task的，整个工作叫job，单独的map和reduce叫task，超过阈值表示超过80%，可mapredu...

CAP内容解释一致性（Consistency），即更新操作成功并返回客户端完成后，所有节点在同一时间的数据完全一致，也就是数据一致性。从客户端来看，一致性主要指的是多并发访问时更新过的数据如何获取的问题。从服务端来看，则是更新如何复制分布到整个系统，以保证数据最终一致。包括：强一致性，要求更新过的数据能被后续的访问都能看到；弱一致性，能容忍后续的部分或者全部访问不到；最终一致性，经过一段时间后...