Streming python运行脚本中设置参数——传递到mapper中

一：shell脚本设置参数
hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-3.1.3.jar
-D stream.non.zero.exit.is.failure=false
-files ./py/mapper.py,./py/reducer.py
-input $1 \ #参数1
-output /output
-mapper “python3 mapper.py”
-reducer “python3 reducer.py”
-cmdenv “aa=$2”; #参数2

二：mapper中获取参数
try:
input_file = os.environ.get(‘aa’) # 用K值获取V值
except KeyError:
input_file = os.environ.get(‘cc’)

try:
input_file = os.environ.get(‘mapreduce_map_input_file’)#mapreduce_map_input_file 用K值获取V值
except KeyError:
input_file = os.environ.get(‘map_input_file’)
filename = os.path.split(input_file)[-1] #提取V值的文件名,也可以获取路径，改成0

三：运行脚本

mp /input/* “aaaaaaa” (mp:运行脚本 /input/*:参数1 “aaaaaaa”：参数2)

说明：参数1和二中的第二个try except为特殊情况，因为streming内部已经有相应的类处理
参数2才是正常调用情况