MapReduce过程知识点总结
MapReduce
简述mapreduce的整个流程
map端
MapTask 工作过程
Read阶段
Map阶段
Collect阶段
Spill阶段
Combine阶段
由程序内的InputFormat来读取外部的数据,调用RecordReader的read方法来读取并,返回(k,v)键值对
读取的(k,v)键值对,传送给map()方法,作为其传入参数来执行用户自定义的map逻辑。
context.write方法被调用时,outputcollector组件会将map()方法的输出结果写入到环形缓冲
原创
2020-09-17 16:14:27 ·
318 阅读 ·
0 评论