大数据---浅谈Hadoop工作原理

浅谈Hadoop工作原理

---

---

Hadoop核心组件

Hadoop HDFS(分布式存储系统)：解决海量数据存储
Hadoop YARN(集群资源管理和任务调度框架)：解决资源任务调度
Hadoop MapReduce(分布式计算)：解决海量数据计算

---

HDFS读写原理

HDFS读文件

1.首先调用FileSystem.open()方法，获取到DistributedFileSystem实例
2.DistributedFileSystem向NameNode发起RPC（远程过程调用）请求获得文件的开始部分或全部block列表，对于每个返回的块，都包含块所在的DataNode地址，这些DataNode会按照Hadoop定义的集群拓扑结构得出客户端的距离，然后再进行排序。如果客户端本身就是一个DataNode，那么他将从本地读取文件
3.DistributedFileSystem会向客户端client返回一个支持文件定位的输入流对象FSDataInputStream,用于客户端读取数据。FSDataInputStream包含一个DFSInputStream对象，这个对象用来管理DataNode和NameNode之间的I/O
4.客户端调用read()方法，DFSInputStream就会找出离客户端最近的datanode并连接datanode
5.DFSInputStream对象中包含文件开始部分的数据块所在的DataNode地址，首先它会连接包含文件第一个块最近的DataNode。随后，在数据流中重复调用read()函数，直到这个块全部读完为止。如果第一个block块的数据读完，就会关闭指向第一个block块的datanode连接，接着读取下一个block块
6.如果第一批block都读完了，DFSInputStream就会去NameNode拿下一批blocks的location,然后继续读，如果所有的block块都读完，这时就会关闭所有流

HDFS写文件

1 .客户端client 通过Distributed FileSystem向NameNode发起文件上传请求，NameNode检查目标文件是否已存在，父目录是否存在
2.NameNode校验完成后返回客户端首地址的位置
3.确定可以上传，客户端请求第一个block上传到哪几个datanode服务器上
4.NameNode返回3个datanode节点，假定分别为dn1,dn2,dn3
5.客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2,然后dn2调用dn3，将这个管道pipeline建立完成
6.dn1，dn2，dn3逐级应答客户端
7.客户端开始往dn1都上传第一个block(先从磁盘读取数据放到一个本地内存缓存)，以packet(64KB)为单位，dn1收到一个packet就会传给dn2,dn2传给dn3;dn1每传一个parket会放入一个应答队列等待应答
8.当一个block传输完成之后，客户端再次请求NameNode上传第二个block的服务器。

MapReduce原理

Map流程

第一阶段：把输入目录下文件按照一定的标准逐个进行辑切片形成切片规划。默认Splitsize=Blocksize（128M）每一个切片由一一个MapTask处理（getSpIits）
第二阶段：对切片中的数据按照一定的规则读取解析返回〈key，value>对。默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormart）
第三阶段：调用Mapper类中的map方法处理数据。每读取解析出来的一个<key，value>，调用一次map方法。
第四阶段：按照一定的规则对Map输出的值对进行分区partition。默认不分区，因为只有一个reducetask。分区的数量就是reducetask运行的数量
第五阶段：Map输出数据写入内存缓冲区，达到比例溢出到磁盘上。溢出spill的时候根据key进行排序sort。默认根据key字典序排序。
第六阶段：对所有溢出文件进行最终的merge合并，成为一个文件。

Reduce流程

第一阶段：ReduceTask会主动从MapTask复制拉取属于需要自己处理的数据。
第二阶段：把拉取来数据，全部进行合井merge，即把分散的数据合并成一个大的数据。再对合并后的数据排序。
第三阶段：是对排序后的键值对调用reduce方法。键相等的键值对调用一次reduce方法。最后把这些输出的键值对写入到HDFS文件中。

Shuffle机制（无序—>有序）

Shuffe的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffe更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱“成具有一定规则的数据，以便reduce端接收处理。一般把从Map产生输出开始到Reduce取得数据作为输入之前的过程称作shuffle。