//TODO 说明
[xxuser@xxhost ~]$ hadoop jar $HADOOP_STREAMING_JAR \ > -input /test/ylb/mock_data/cv-pt-demo.txt \ > -output /test/ylb/mock_data/output/cv-pt-demo-10 \ > -mapper "awk '\$1~/1/ {printf(\"%s\t%s\n\",\$1,\$2)}'" \ > -reducer "awk 'BEGIN{pt[\"test_key\"]=0;} {key=\$2/10;pt[key]+=1;} END{ for(k in pt){printf(\"%d\t%d\n\",k,pt[k]);} }'"
1. -mapper " awk ' ' " , 这种写法的话, ' ' 里面的脚本中有三种字符(shell特殊字符)需要转义,分别是 " ' $
这种写法的好处是可以方便的引用外部shell变量
-mapper ' awk " " ' 这种写法则不需要转义
第一种写法比较容易出错,所有必须要理解 unix shell 的 双引号 单引号 的区别