MapReduce通俗理解

Mapreduce

mapreduce通俗理解

举个例子，我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”。简单来说，Map就是“分”而Reduce就是“合” 。

job map reduce task

map 输入的键值对会被转换成零到多个键值对输出。

Reducer最终会产生一个键值对

Hadoop会监控每一个task确保其成功完成，并重启一些失败的task

过程

1. 客户端启动一个job
2. 向JobTracker请求一个JobID 也是文件夹的名称
3. 将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息,输入划分信息告诉JobTracker应该为这个作业启动多少个map任务等信息。
4. map任务不是随便分配给某个TaskTracker的，Data-Local（数据本地化）将map任务分配给含有该map处理的数据库的TaskTracker，但是分配reducer任务时不考虑数据本地化
5. TaskTracker每隔一段时间给JobTracker发送一个Heartbeat告诉JobTracker它仍然在运行,心跳还携带很多比如map任务完成度等信息
6. 当JobTracker收到作业的最后一个任务完成信息时，便把作业设置成“成功”，JobClient再传达信息给用户

细节注意

Map就是“分”而Reduce就是“合” ：(input) ->map-> ->combine-> ->reduce-> (output)

MapReduce 框架只操作键值对

每个map任务可以细分4个阶段：record reader、mapper、combiner和partitioner

demo:
<0,hello you> <10,hello me>
<hello,1><you,1><hello,1><me,1>
<hello,1><hello,1><me,1> <you,1>
<hello,{1,1}><me,{1}><you,{1}>

reduce任务可以分为4个阶段：混排（shuffle）、排序（sort）、reducer和输出格式（output format）

demo:
<hello,2><me,1><you,1>

优化MapReduce

Combiner和Partitioner是用来优化MapReduce的，可以提高MapReduce的运行效率

1. Combiner

   Combiner的好处

   • 能够减少Map-Task输出的数据量（即磁盘IO）

   • 能够减少Reduce-Map网络传输的数据量（网络IO）

   Combiner 的使用场景

   • 并不是所有的场景都可以使用Combiner
   • 适合于Sum()求和 最大 最小等

2. Partitioner

   作用

   • Partitioner决定了Map Task 输出的每条数据交给哪个Reduce Task 来处理

   默认实现

   • Partitioner 的默认实现：hash(key) mod R，这里的R代表Reduce Task 的数目，意思就是对key进行hash处理然后取模

参考链接：
https://juejin.cn/post/6890403796938129415
https://www.cnblogs.com/codeOfLife/p/5472713.html