临时记录,仅供参考
在MR项目中,当Reduce函数中有落盘操作,且指定CombinerClass为Reduce函数,则输出结果文件为多个包含“-m-”的文件,如果不指定CombinerClass,则生成文件为包含“-r-”的单个文件。
总结:MR程序在不同阶段落盘,生成的文件名和数量存在差异。
hadoop 输出的 *-m-0000文件和*-r-0000文件
最新推荐文章于 2023-11-17 00:22:46 发布
临时记录,仅供参考
在MR项目中,当Reduce函数中有落盘操作,且指定CombinerClass为Reduce函数,则输出结果文件为多个包含“-m-”的文件,如果不指定CombinerClass,则生成文件为包含“-r-”的单个文件。
总结:MR程序在不同阶段落盘,生成的文件名和数量存在差异。