MapReduce 知识点

最新推荐文章于 2022-04-18 16:26:39 发布

昨夜为你摘星

最新推荐文章于 2022-04-18 16:26:39 发布

阅读量390

点赞数 4

本文链接：https://blog.csdn.net/liu_changshen/article/details/103091390

版权

MapReduce是一种分布式计算框架，采用分而治之的思想处理大数据。Map阶段负责数据的逻辑切分和自定义处理，Reduce阶段进行数据合并汇总。偏移量表示行首字符到文档起始位置的距离。Suffer过程包括分区、排序、局部聚合和分组。Combiner在Map端进行局部聚合，减少网络传输。设置ReduceTask数量通过job.setNumReduceTasks()。优化点包括调整环形缓冲区大小、阈值和使用压缩。集群优化主要目标是减少网络带宽和磁盘IO的使用。

摘要由CSDN通过智能技术生成

MapReduce核心思想

分而治之,先分后和,就是将一个大文件拆分成多个小文件,并行处理,最终进行合并
map负责分 reduce负责合

偏移量

行首字符到文档最前端的字符数量

Suffer包含哪些步骤

partition 分区
Sort 排序
combiner 局部聚合
Group 分组

MR从读取数据到写入hdfs经过哪些步骤

第1步：InputFormat
InputFormat 到hdfs上读取数据
将数据传给Split
第2步：Split
Split将数据进行逻辑切分，
将数据传给RR
第3步：RR
RR:将传入的数据转换成一行一行的数据，输出行首字母偏移量和偏移量对应的数据
将数据传给MAP
第4步：MAP
MAP:根据业务需求实现自定义代码
将数据传给Shuffer的partition
第5步：partition
partition:按照一定的分区规则，将key value的list进行分区。
将数据传给Shuffer的Sort
第6步：Sort
Sort:对分区内的数据进行排序
将数据传给Shuffer的combiner
第7步：combiner
combiner:对数据进行局部聚合。
将数据传给Shuffer的Group
第8步：Group
Group:将相同key的key提取出来作为唯一的key,
将相同key对应的value获取出来作为value的list
将数据传给R