Mapreduce
mapreduce通俗理解
举个例子,我们要数图书馆中的所有书。你数1号书架,我数2号书架。这就是“Map”。我们人越多,数书就更快。现在我们到一起,把所有人的统计数加在一起。这就是“Reduce”。简单来说,Map就是“分”而Reduce就是“合” 。
job map reduce task
map 输入的键值对会被转换成零到多个键值对输出。
Reducer最终会产生一个键值对
Hadoop会监控每一个task确保其成功完成,并重启一些失败的task
过程
- 客户端启动一个job
- 向JobTracker请求一个JobID 也是文件夹的名称
- 将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息,输入划分信息告诉JobTracker应该为这个作业启动多少个map任务等信息。
- map任务不是随便分配给某个TaskTracker的,Data-Local(数据本地化)将map任务分配给含有该map处理的数据库的TaskTracker,但是分配reducer任务时不考虑数据本地化
- TaskTracker每隔一段时间给JobTracker发送一个Heartbeat告诉JobTracker它仍然在运行,心跳还携带很多比如map任务完成度等信息
- 当JobTracker收到作业的最后一个任务完成信息时,便把作业设置成“成功”,JobClient再传达信息给用户
细节注意
Map就是“分”而Reduce就是“合” :(input) ->map-> ->combine-> ->reduce-> (output)
MapReduce 框架只操作键值对
每个map任务可以细分4个阶段:record reader、mapper、combiner和partitioner
demo:
<0,hello you> <10,hello me>
<hello,1><you,1><hello,1><me,1>
<hello,1><hello,1><me,1> <you,1>
<hello,{1,1}><me,{1}><you,{1}>
reduce任务可以分为4个阶段:混排(shuffle)、排序(sort)、reducer和输出格式(output format)
demo:
<hello,2><me,1><you,1>
优化MapReduce
Combiner和Partitioner是用来优化MapReduce的,可以提高MapReduce的运行效率
-
Combiner
Combiner的好处
-
能够减少Map-Task输出的数据量(即磁盘IO)
-
能够减少Reduce-Map网络传输的数据量(网络IO)
Combiner 的使用场景
- 并不是所有的场景都可以使用Combiner
- 适合于Sum()求和 最大 最小等
-
-
Partitioner
作用
- Partitioner决定了Map Task 输出的每条数据交给哪个Reduce Task 来处理
默认实现
- Partitioner 的默认实现:hash(key) mod R,这里的R代表Reduce Task 的数目,意思就是对key进行hash处理然后取模
参考链接:
https://juejin.cn/post/6890403796938129415
https://www.cnblogs.com/codeOfLife/p/5472713.html