![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
MapReduce
文章平均质量分 52
MapReduce笔记
airyv
一名兴趣使然学习编程的学生。
展开
-
YARN中Resource Manager的高可用中“脑裂”问题的解决
"脑裂"问题:Resource Manager由于网络闪退或者自身故障未及时对外做出响应,出现“假死”现象,导致出发了Zookeeper新一轮的主备切换,但是,对于“假死”的RM自身来说,它仍认为自己是Active,所以导致整个系统中出现多个Active的RM。 “隔离”机制解决问题:在主备切换时,在RM竞争创建锁节点时,会携带zookeeper的ACL权限进行限制,目的是独占该节点。在主备切换后,原来“假死”的RM恢复后,会去更新zookeeper的节点状态,如果发现ACL不对,节点不是自己创建的,会将自原创 2021-07-21 19:31:57 · 730 阅读 · 0 评论 -
MapReduce的shuffle机制
shuffle过程(简单理解):从map的输出到reduce的输入之间的过程。 概念:Map是映射,负责数据的过滤分法,将原始数据转化为键值对;Reduce是合并,将具有相同的key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果,必须对Map的输出进行一定的排序与分割,然后再交给对应的Reduce,Map端的输出作为Reduce的输入的过程叫做Shuffle. 注意点:一个分片对应一个 Map 任务,每个 Map 任务里面会根据分片中的记录执行多次 map.原创 2021-07-14 22:29:28 · 228 阅读 · 1 评论