【Hadoop-MapReduce】MapReduce编程步骤及工作原理
1)MapReduce的基本介绍:分布式计算框架
思想:分而治之
map:负责分
的过程
reduce:负责合
的过程
2)MapReduce的编程规范步骤
(1)map阶段:2步
1、读取数据,将读取过来的数据转换为k1和v1。
2、自定义map逻辑,将k1和v1转换为k2和v2。
(2)shuffle阶段: 4步(接收map阶段的k2和v2转换为new k2和v2)
3、分区
: 将相同的k2的数据发往同一个reduce。
4、排序
: 针对k2的数据进行排序工作。
5、规约
: mr中优化步骤,用于进行局部聚合功能,一般是可以省略的。
6、分组
: 将相同k2的数据分成一组,将v2的数据合并形成一个集合。
(3)reduce阶段: 2步
7、自定义reduce逻辑,接收k2和v2的数据,将其转换为k3和v3。
8、输出结果,将k3和v3输出到目的地。
注意:k2就是整个MR的灵魂。
3)MapReduce的并行度机制
何为并行度: 在执行MR的时候,map运行的数量以及reduce运行数量由谁来决定的问题。
(1)map运行的数量
:取决于读取文件的大小,默认情况下,是按照128M一个Map来处理,同时每一个文件至少会有一个map来读取。MR对整个文件进行读取工作,然后对整个文件进行逻辑划分(FileSplit)
:文件切片。
(2)reduce运行数量
: 一般有人为来设定的,当业务需求要求结果是多个文件的时候,这个时候一般就要设置reduce的数量。一个reduce就会输出一个聚合结果,多个reduce就会输出多个聚合结果。同时reduce数量还取决分区的数量,如果进行`自定义分区,分区数量要和reduce是相等的。
4)map阶段的工作机制
(1)通过FileInputFormat读取目标地址的数据,通过FileInputFormat对目标数据进行FileSplit的逻辑分片数据,最终会启动多少个mapTask
取决于FileSplit的逻辑分片的数量
,读取后,将数据转换为K1和v1。
(2)自定义map逻辑
,接收k1和v1,将k1和v1转换为k2和v2:读取一行,调用一次map逻辑,输出k2和v2。
(3)进行分区操作:map端输出一次k2和v2,那么分区逻辑就会对k2进行分区操作,默认采用HASH
取模计算法,计算后,对k2进行分区标记。然后将标记好的k2和v2写入到环形缓冲区
。
(4)随着不断写入到环形缓冲区
,环形缓冲区默认的大小为100M,当达到缓冲区的80%的时候,MR会启动一个溢写线程
,将80%数据写出到磁盘中,形成一个临时文件
,在执行溢写过程中,还会对k2数据进行排序操作,如果设置了规约,那么也就会在这个时候执行了。
(5)不断的写入,不断的溢写,产生多个临时文件,当mapTask执行完成后,会将最后的缓冲区的数据一并写出磁盘
上,然后开始进行合并操作,保证一个MapTask只会产生一个最终的结果文件,在合并的过程中,同样也会进行排序,并且有规约依然还会执行操作。
(6)当mapTask
的结果文件形成后,静静等待reduceTask
的拉取即可。
shuffle中: 分区 排序 规约 属于 map端的shuffle过程。
5)reduce阶段的工作流程:
(1)当map执行完成后,reduce开始执行拉取
工作,每一个reduce到mapTask执行的结果文件中,拉取属于自己分区的数据。
(2)将数据首先拉取到内存
中,当内存写满后,将数据溢写到磁盘
上,形成多个临时文件
,在溢写的时候,依然会对数据进行排序。
(3)当整个拉取工作结束后,对多个临时文件数据执行merge(合并)
操作,将多个临时文件合并为一个结果文件
,同时合并过程依然排序。
(4)对合并后的结果文件,开始执行分组操作,分好一组数据后,就会调用一次reduce的逻辑,reduce接收k2和v2的数据,将其转换为k3和v3。
(5)reduce每输出一次k3和v3,就会被FileOutPutFormat接收到,然后将数据追加到结果文`上。
(6)当整个reducer将所有的分组数据都处理完成,结果文件,也就产生了。
shuffle中:分组属于reduce的shuffle过程。