MapReduce工作机制
1.MapTask工作机制详解1.1执行步骤整体概述①输入文件被逻辑切分为多个split文件,通过LineRecordReader按行读取内容给map(用户自己实现)进行处理;②数据被map处理结束之后交给OutputCollection收集器,对其结果key进行分区(HashPartitioner),然后写入内存缓冲区,当缓冲区快满的时候(80%)需要将缓冲区的数据以一个临时文件的方式spill溢出到磁盘;③最后再对磁盘上产生的所有临时文件做合并,生成最终的正式输出文件,然后等待reduce ta
原创
2021-04-16 13:16:01 ·
1076 阅读 ·
0 评论