hadoop streaming 常用参数 以及 动态调整

常用参数

多路输入：

在hadoop streaming 参数设置时候使用多个-input参数来定义多个输入路径。
mapper处理时，可以根据输入列数来处理，比如：

for line in sys.stdin:
	line = line.strip()
	if not line:
		continue
	items = line.split('\t')
	if len(items) == 2:
		# 输入路径1
		pass
	elif len(items) == 3:
		# 输入路径2
		pass
	else:
		# 不符合预期的输入数据
		continue
		

多路输出：

hadoop streaming 支持多路输出，每个reducer可以将数据输出到part-xxxxx-[A-Z]
为了多路输出，需要：
0.与多路输入不同，只设定一个-output，不同类型的输出以part尾缀区分；
1.设定hadoop参数：

-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleSequenceFileOutputFormat

2.输出的数据需要在最后加上#[A-Z]
比如：

key1 value1#A
key2 value2#B
key3 value3#A
key4 value4#B

这样kv1和kv3会输出到part-xxxxx-A中；kv2和kv4会输出到part-xxxxx-B中，最后输出的数据中已经自动去掉了分类标签#[A-Z]

动态调整

调整mapper数：

bin/hadoop job -set-map-capacity job_id 1000

调整reducer数：

bin/hadoop job -set-reduce-capacity job_id 1000

调整优先级：

bin/hadoop job -set-priority job_id VERY_HIGH