hadoop streaming 常用参数 以及 动态调整
常用参数多路输出:hadoop streaming 支持多路输出,每个reducer可以将数据输出到part-xxxxx-[A-Z]为了多路输出,需要:1.设定hadoop参数:-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleSequenceFileOutputFormat2.输出的数据需要在最后加上#[A-Z]比如...
原创
2019-08-29 11:42:38 ·
777 阅读 ·
0 评论