MapReduce
MapReduce 知识点一、MapReduce 的核心思想1、Map reduce 分布式运算程序一般分成两个阶段:Map阶段 和 Reduce 阶段2、在第一阶段(Map 阶段)所有的mapTask,都是完全并行执行,彼此互不干扰3、在第二阶段(Reduce 阶段)所有的Reduce Task ,都是完全并行执行,彼此互不干扰,但是Reduce task 完全依赖于上一个阶段,即所有MapTask 并发实例的输出。二、MapReduce 编程规范1、Mapper 阶段 自定义的ma
原创
2021-11-26 22:24:56 ·
551 阅读 ·
0 评论