HADOOP进阶

一，HDFS文件写入流程

         hadoop fs -put word.txt /input   执行该步骤的流程： 

1，客户端先与NameNode通信，通过RPC通信，创建一个远程的RPC请求，发起上传一个文件请求，

2，NameNode接收到这个请求之后，会对新建文件的进行各种检查，确保这个文件在HDFS中是不存在的，以及客户端有新建文件的权限，

3，NameNode在所有检查完成之后，向客户端返回允许写文件的消息

4，客户端接收到该消息之后，会把文件流式的写入到客户端本地的文件系统的一个临时文件中。

     客户端将文件切分成块，每块128M

5， 当这个临时文件达到128M时，也就是一个Block块大小时，客户端会先上传第一个Block，发起上传的请求，

6， 当NameNode接收到这个请求时，会在DataNode信息池中检查DataNode信息，确定哪些可以保存以及备份该Block块的DataNode列表.

7， NameNode会返回可以保存以及备份该Block块的DataNode列表信息，

 

8，客户端接收到返回列表信息之后，会与第一个DataNode创建连接，并请求第一个DataNode创建与这组DataNode列表的信息流管道。

        会向第一个DataNode请求建立Block传输通道通道：

 

       

 9，创建完信息流通道之后，客户端会以数据包packet为单位发送数据，每个packet时4k，按照流式的方式写入到数据管道中，，

      首先将数据包packet写入到第一个DataNode中，当数据包写入到第一个DataNode磁盘的时，会将数据包通过构建的信息流管道，发送到第二个DataNode中，之后，当数据包写入到第二个DataNode磁盘时，会将数据包通过构建的信息流管道，发送到第三个DataNode中，此时这个数据包就以数据流管道的形式完成了在HDFS的保存与备份，这样完成了一个数据包的保存与备份。

9.1  9.2 最后一个DataNode保存数据包成功之后，会通过信息流管道返回成功信息给前一个DataNode。

如node03保存成功的确认信息发回给node02，node02保存成功的信息返回给node01，最后node01会返回给客户端，

这样通过流式的传输，并逐级调用，当完成数据流的传输之后，该Block块也在HDFS中保存与备份成功。

10， 之后客户端会给NameNode发送最终的写入成功的信息，这时第一个Block就传输完成，

11，接下来会传输第2个Block块，重复4-10，最终完成该文件的传输。

 

二， HDFS文件读取流程

 

1，客户端请求读取文件

2.1，检查HDFS目录树

2.2，查询文件组成，查询块与DataNode的映射关系

3，安装DataNode与客户端的距离由近到远的列表返回给客户端

4，客户端与最近的DataNode连接，

5，返回给客户端的Block数据

6，客户端组装文件的Block成一个文件。

 

三，HDFS文件操作与管理

Hadoop服务脚本：

sbin目录：

start-all.sh/stop-all.sh   启动/停止Hadoop集群中全部服务（HDFS服务和YARN服务）

start-dfs.sh/stop-dfs.sh 只启动/停止HDFS相关全部服务（NameNode，DataNode，JournalNode）

hadoop-daemon.sh start/stop namenode/datanode/journalnode   单独启动/停止单台HDFS某个服务

start-yarn.sh/stop-yarn.sh 启动/停止YARN相关全部服务（ResourceManager，NodeManager）

yarn-daemon.sh start/stop resourcemanager/nodemanager    单独启动/停止单台YARN某个服务

 

bin/hadoop fs或者bin/hdfs dfs

 

四， YARN程序运行流程

1，客户端提交作业请求

2，ResouceManager先给客户端返回一个作业id，接着会要求一个NodeManager启动一个Container来启动该作业的ApplicationMaster，ResourceManager会监控ApplicationMaster的运行状态。

3，ApplicationMaster会先计算这个作业需要多少个map，多少个reduce，运行这些任务，需要多少cpu，mem，之后ApplicationMaster会向ResoureManager注册，注册成功之后会为客户端的作业申请资源。

4，当ResourceManager将资源分配给ApplicationMaster之后，ApplicationMaster会查看这些资源包含是哪些NodeManager来提供的，然后会和相应的NodeManager进行通信，在相应的节点上启动Container，并且启动相应的任务。运行在Container中的任务会向ApplicationMaster及时的汇报当前的状态和进度。

5，在这些作业的任务运行时，客户端会通过ResourceManager获取Applicationmaster的通信地址，然后客户端会与Applicationmaster进行通信，周期性的可以获取到作业所有任务的运行状态与进度。当作业的任务完成之后，整个作业就结束了，Applicationmaster会向ResourceManager申请注销，并释放申请的计算资源。

 

五， MapReduce原理与编程模型

MapReduce简介

源自Google的MapReduce的论文，发表于2014年12月

是一个批处理框架

一个MapReduce程序分为Map阶段和Reduce阶段

特性：

易于编程

良好的扩张性

高容错性

适合海量数据的离线处理，GB，TB，PB

 

擅长的场景：

数据统计，如网站的PV，UV统计，Map和Reduce

搜索引擎索引，产生的背景，Baidu，Google都使用MapReduce进行索引

海量数据查找，分布式计算与查找，将一个TB的文件，拆分到各个节点下去查找，即分布式查找

复杂数据分析算法实现，聚类，推荐算法，

 

不擅长的场景：

低延迟实时计算：需要ms级别返回结果

流式计算：数据像流水一样，过来一个处理一个，然后MapReduce只能处理静态的数据，像HDFS内存储的Block块的数据，不是实时变化的。

 

MapReduce的执行流程

现实案例：

具体的执行流程：

步骤：分解--> 合并求解

分-Map

数据分块存储

负责问题分解成多个简单任务

合-Reduce

把Map的输出结果作为输入合并求解。

整体过程：

Map阶段：

文件被保存到HDFS会被切分并保存成一个个的Block块的形式，MapReduce通过InputFormat接口读取HDFS上的Block块，对Block进行逻辑分片Split，每个Block块对应一个Split片（Block0- > Split0），即逻辑分片Split，每个Map Task处理一个Split片（Block0->Split0->Mapper0），对这个Block进行分解，输出的是以Key-Value对的形式

Partitioner阶段：

将输出结果给partitioner进行分区，确定去哪个Reduce Task，具体是将输出的Key取一个Hash值，将这个Hash值对Reduce的个数取余数

R_counts是Reduce Task的个数，hash(key) % R_Counts，这个余数就是对应的哪个Rdeuce Task来处理这个Map Task的输出结果。

Reduce阶段：

Reduce阶段会先将这些Partitioner分给的数据中进行Shuffle和Sort，然后再汇总，通过OutPutFormat接口输出到HDFS文件系统上。

 

各个阶段详解：

InputFormat：

处理的问题：

• 文件分片（InputFormat）方法：

• 处理跨行问题

将分片数据分析成key/value对

• 默认实现是TextInputFormat

TextInputFormat

• key是行在文件中的偏移量，Value是行内容

• 如果一行被截断，则读取下一个Block的前几个字符

Spilt

Block：

• HDFS中最小的数据处理单元

• 默认为128M

Split：

• MapReduce中最小的计算单元

• 默认与Block一一对应

Blcok与Split

• Split与Block的对应关系是任意的，可由用户控制。

Partitioner

Partitioner决定了Map Task输出的每一条数据交给哪个Reduce task处理

默认实现：HashPartitioner

• Hash(key) mod R

• R是Reduce Task数量

• 分区计算结果产生的分区号等于Reduce Task号

允许自定义分区

Shuffle的过程：

MapReduce处理的是HDFS上的file文件，并通过InputFormat（默认是TextInputFomat）将文件file的文本数据输入到Map任务中的Map方法，Map方法接收到Key-Value对的形式数据，会将数据保存到本地磁盘当中。在写入磁盘之前还会有一个阶段，就是这个Shuffle的过程，即从Map写出数据开始，到整个Map任务执行完成。在Reduce阶段也会有Shuttle的过程。Shuffle过程开始是从Map阶段输出开始的，Map的输出结果的数据，Map首先会把输出的数据写入到内存缓存区，在内存中会划分出一块100M的内存缓冲区，也叫环形缓冲区。这个缓冲区默认大小时100M，它也可通过配置文件来设置其大小。Map任务只要处理完结果，首先会先将数据写入到这个环形缓冲区，当缓冲区的被写入的数据达到80%时，Map会把缓冲区的数据写入到本地磁盘文件当中，在从缓冲区写入到本地磁盘的过程中，Map会继续向这个缓冲区写入其输出的数据，像这种一边往缓冲区里写数据，一遍从缓冲区溢出写入到磁盘的过程，就像是环状，所以叫该缓冲区为环形缓冲区，其实在内存中就是一个数组数据。从环形缓冲区往磁盘写数据之前，在内存当中，会调用partitioner会对数据进行分区，在分区内，会按照key进行快速排序，排序完成，会将内存中的数据写入到文件中，因为在内存中的数据是有序的，所以在分区内，写入到磁盘中文件的数据也是有序的，随着MapTask输出多个文件，这个些文件是分区的，并且分区内是有序的，当MapTask运行完成之后，会将所有输出的小文件，合并并排序，并且在分区内有序。合并并排序完之后，Map阶段的Shuffle阶段就结束了，然后就进入到Reduce的Shuffle阶段，Reduce会在所有Map Task输出的文件当中，通过网络，下载选择属于自己的分区数据，当拷贝完成之后，会Reduce端会将这些数据进行合并，在合并的过程当中，会将相同key的数据分到一组，不同的key之间进行排序，最终会形成一个key对应一组值，默认会通过key字典的升序进行排序。每组数据会调用一次重写的Reduce方法，当其处理完数据之后，会通过OutputFormat接口的实现类（默认是TextOutputFormat）将数据学出到HDFS磁盘中。

Shuffle的过程总结：

每个Map Task把输出结果写到内存中的环形缓冲区

当内存环形缓冲区写入的数据量达到一定阈值时，后台线程会把数据溢写到磁盘中

        根据partitioner，把数据写入到不同的partition。

        对于每个partition的数据进行排序。

随着Map Task的不断运行，磁盘上溢出的文件越来越多

        将这些溢出的文件合并

        对于一个partition下的不同分片，使用递归排序，同一分区的数据有序

Reduce Task通过网络远程拷贝Map Task的结果文件中属于它的分区数据

        合并所有已拷贝过来的数据文件

        采用归并排序算法，对文件数据内容整理排序，将相同key的数据分为一组，不同key之间有序排序

        最终生成一个key对应一组值的数据集，一个key对应的一组数据会调用一次reduce方法

总体思想是：

先Map再Reduce，即先分类，再合并同类项。

 

Combiner优化：

 

Combiner总结：

Combiner调用的地方：

• MapTask的环形缓冲区向磁盘溢写文件之前调用Combiner

• Map阶段在合并本地多个文件写入一个大文件之前调用Combiner

使用Combiner好处：

• 减少Map Task输出数量，由于临时结果写入到本地磁盘，所以能够减少磁盘IO

• 减少Reduce-Map网络传输数据量，由于Reduce需要远程通过网络从Map拷贝数据，所以可以提高拷贝速度。

应用场景：

• 针对结果可以叠加的场景

• SUM可以但是Average不行

数据本地性：（Data locality）

数据本地性的含义

• 如果任务运行在与它需要处理的数据在同一个节点，则称该任务具有“数据本地性”

数据本地性级别：（由高到底）

• 同节点：Node-local

• 同机架：Rack-local

• 跨机架：off-switch

数据本地性优点

• 避免通过网络远程读取数据进而提高数据读取效率