Hadoop是小象——MapReduce / HDFS原理解析

最新推荐文章于 2024-08-27 15:06:45 发布

No_Game_No_Life_

最新推荐文章于 2024-08-27 15:06:45 发布

阅读量1.9k

点赞数 1

分类专栏：大数据基础分布式架构

本文链接：https://blog.csdn.net/No_Game_No_Life_/article/details/87919751

版权

分布式架构同时被 2 个专栏收录

47 篇文章 3 订阅

订阅专栏

大数据基础

16 篇文章 0 订阅

订阅专栏

HDFS&MapReduce

有一箩筐（100根）胡萝卜，小象进食速度是1根/秒，那么吃完一箩筐需要100秒。怎么让这100根胡萝卜被吃的更快呢？有人说榨汁……算了（其实我们这里说的是硬盘数据的读出），所以如果我们有20头小象，每个箩筐只装5根胡萝卜，那么5秒就可以合计吃掉一箩筐的量。
似乎每只小象吃5根会吃不饱（也就是硬盘利用率只有5%），但是我们箩筐里可以不止放胡萝卜，我们可以放土豆，香蕉，花生（存放多个数据集以并行处理，当有20个数据集的时候，一箩筐就放满了）。当我们需要让小象吃掉所有的胡萝卜的时候，就让它们一起挑胡萝卜吃（也就是完成各自的任务）。

但是啊，这里会出现问题，有的小象胃口不好，吃不下东西了（硬件故障问题），或者有的食物需要两只以上的小象相互合作才能吃到（协作问题），比如情人节的可口可乐开盖，需要两瓶可乐契合才能打开，也别问我小象怎么能喝汽水。

我编不下去了。好的，回到主题。

怎么解决硬件故障呢？硬件故障可能会发生数据的丢失，那么最常见的做法就是冗余。比如像磁盘冗余阵列那样，或者Hadoop的分布式文件系统（HDFS，hadoop distributed fileSystem）就是这一类，不过实现稍微有所不同，以后会聊到。
如何协作来共同完成分析呢？MapReduce提出一个编程模型，该模型抽象出这些硬盘读/写问题并将其转换为对一个数据集（由键值对构成）的计算。以后也会聊到。

总之，Hadoop为我们提供了一个可靠的且可扩展的存储和分析平台。

关于MapReduce

MapReduce分为两个阶段：map和reduce。每个阶段都以键值对的方式存储。
在这里插入图片描述

1：Map任务处理
1.1 读取HDFS中的文件。对于HDFS中存储的一个文件，要进行Map处理前，需要将它切分成多个块，才能分配给不同的MapTask去执行。分片的数量等于启动的MapTask的数量。默认情况下，分片的大小就是HDFS的blockSize。
分片后，每一个分片中的每一行解析成一个<k1(line no),v1>。其中key为偏移量，value为一行的内容。每一个键值对调用一次map函数。
<0,hello you> <10,hello me>
1.2 覆盖map()，接收1.1产生的<k1,v1>，进行处理，转换为新的<k2,v2>输出。　　　　　　　　　　
<hello,1> <you,1> <hello,1> <me,1>
1.3 对1.2输出的<k2,v2>进行分区。默认分为一个区(Partitioner)。因为频繁的磁盘I/O操作会严重的降低效率，因此“中间结果”不会立马写入磁盘，而是优先存储到map节点的“环形内存缓冲区”，在写入的过程中进行分区（partition），也就是对于每个键值对来说，都增加了一个partition属性值，然后连同键值对一起序列化成字节数组写入到缓冲区。

为什么要使用分区？
1.根据业务需要，产生多个输出文件
2.多个reduce任务在运行，提高整体job的运行效率

1.4 （可选）对分组后的数据进行归约(Combiner)。对不同分区中的数据按照k2进行排序、分组。分组指的是相同key的value放到一个集合中。　<k2,{v2,…}>
排序后：<hello,1> ``<hello,1> ``<me,1> <you,1>
分组后：<hello,{1,1}>``<me,{1}>``<you,{1}>

为什么要使用归约
每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。

2：Reduce任务处理
2.1 多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。
对于reduce端的shuffle过程来说，reduce task在执行之前的工作就是不断地拉取当前job里每个map task的最终结果。然后对从不同地方拉取过来的数据不断地做merge最后合并成一个分区相同的大文件，然后对这个文件中的键值对按照key进行sort排序，排好序之后紧接着进行分组，分组完成后才将整个文件交给reduce task处理。
2.2 对多个map的输出进行合并、排序。覆盖reduce函数，接收的是分组后的数据，实现自己的业务逻辑，　<hello,2> <me,1> <you,1>
处理后，产生新的<k3,v3>输出。
2.3 对reduce输出的<k,v>写到HDFS中。

HDFS原理

HDFS 存储数据
在这里插入图片描述
HDFS 采用Master/Slave（主从）的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。

HDFS Client：
1、文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的Block，然后进行存储。
2、与 NameNode 交互，获取文件的位置信息。
3、与 DataNode 交互，读取或者写入数据。
4、Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS。

NameNode：Master角色
1、管理 HDFS 的名称空间。
2、管理数据块（Block）映射信息
3、配置副本策略
4、处理客户端读写请求。

DataNode：Slave角色。NameNode 下达命令，DataNode 执行实际的操作。
1、存储实际的数据块。
2、执行数据块的读/写操作。

Secondary NameNode：并非 NameNode 的热备。当NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。
1、辅助 NameNode，分担其工作量。
2、定期合并 fsimage和fsedits，并推送给NameNode。
3、在紧急情况下，可辅助恢复 NameNode。

那HDFS 如何读取文件呢？

在这里插入图片描述
HDFS的文件读取原理，详细解析如下：
1、首先HDFS Client调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。
2、DistributedFileSystem通过RPC(远程过程调用)NameNode获得文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照Hadoop拓扑结构排序，距离客户端近的排在前面。
3、前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream就会找出离客户端最近的Datanode并连接datanode。
4、数据从Datanode源源不断的流向客户端Client。如果第一个block块的数据读完了，就会关闭指向第一个block块的datanode连接，接着读取下一个block块。这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流。如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。

HDFS 如何写入文件？
在这里插入图片描述
1.客户端HDFS通过调用 DistributedFileSystem 的create方法，创建一个新的文件。
2.DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常。
3.前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream。DFSOutputStream会把数据切成一个个小packet，然后排成队列 data queue。
4.DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，比如重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。
5.DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的所有DataNode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。
6.客户端完成写数据后，调用close方法关闭写入流。
7.DataStreamer 把剩余的包都刷到 pipeline 里，然后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成。