hadoop记录

一、所有变量先初始化
二、两次输出：1次再换key，一次在程序结束

-D stream.num.map.output.key.fields=2 \  # 设置前几列为key
-D num.key.fields.for.partition=1 \ #使用 ！key中！前几列划分partition，分桶
-D stream.map.output.field.separator=, \  设置map输出的字段分隔符
-D map.output.key.field.separator=, \ 设置key内的字段分隔符
-D mapred.text.key.comparator.options="-k1,1 -k2,2n" \  # 定义key的排序方式，第一列文本序，第二列数字序
-D stream.reduce.output.field.separator=, \  设置reduce输出的字段分隔符，注意注释reduce，依然会执行排序，排序输出按照reduce输出的字段分隔符，输出
-D stream.memory.limit=6000 \  设置mapreduce的任务内存