1、使用HadoopStreaming
的一个小case,分享给大家,避免日后出bug:
当我们在用-D stream.num.map.output.key.fields="2"
这个参数时,如果map端输出的长度小于或者等于
2,则在reduce端打印的时候会多加一个空值
。
比如:
Hadoop streaming 使用-D stream.num.map.output.key.fields="2"参数
map 端输出
A\tB
reduce端输出
A\tB\t""
2、二次排序
如果我们仅仅想将第一个字段分桶,而将前两个字段进行排序,例如,给定txt文件
a 2 11 22
b 3 11 22
c 4 11 22
a 1 11 22
b 2 11 22
c 1 11 22
a 5 11 22
假设我们希望得到
a 1 11 22
a 2 11 22
a 5 11 22
b 2 11 22
b 3 11 22
c 1 11 22
c 4 11 22
即第一列将其分到相应的桶中,第二列也进行排序。则我们可以用这两个参数
-jobconf stream.num.map.output.key.fields=2
-jobconf num.key.fields.for.partition=1
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner
stream.num.map.output.key.fields=2表示我们用前两个字段进行排序。num.key.fields.for.partition=1 表示我们用第一个字段进行分桶。排序方式使用org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner (必须)、