Hadoop-MapReduce计算过程-Yarn资源调度-HA的方式
MapReduce
(分布式计算框架)
计算思想:靠近数据源计算,处理的都是key-value形式
设计思路:分而治之
Mapreduce的计算过程
1,按照块进行分片
2,map
每个分片会对应一个Map,运行map进行数据的进一步切割
3,shuffle
分区—(由map进行分区,默认有一个reduce分区), 排序—(由map或reduce进行排序),
规约—(Hadoop完成),
合并—(由map或reduce进行合并,按照key:list)
4,Reduce
获取map的键值对,把分散的键值对在内
原创
2021-10-12 20:03:28 ·
379 阅读 ·
0 评论