MapReduce工作笔记 系列目录:MapReduce工作笔记——目录
多路输出
加入如下命令:
-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat \
-jobconf suffix.multiple.outputformat.filesuffix=file_path_1,file_path_2 \
-jobconf suffix.multiple.outputformat.separator="#" \
- 指定outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat
- 指定输出文件名的前缀,所有需要输出的文件名必须通过该参数配置,否则job会失败
- 设置value与文件名的分割符,默认为“#”,如果value本身含有“#”,框架会自动匹配至最后一个分隔符,用户亦可通过该参数重新设置其他的分隔符。
注:
- 上面三个是必须参数,否则会报错
- 当value为空时