Hadoop Streaming 实战： bash脚本

streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序

1. 待检索的数据放入hdfs
$ hadoop fs -put localfile /user/hadoop/hadoopfile

2. 编写map、reduce脚本,记得给脚本加可执行权限。
mapper.sh
#!/bin/sh wc –l

reducer.sh
#!/bin/sh sum=0 while read i do let sum+=$i done echo $sum

3. 运行：
$ hadoop streaming –input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name="sum_test"

说明：
-input /user/hadoop/hadoopfile ： 待处理文件目录
-output /user/hadoop/result ：处理结果存放目录
-file ：分发mapper.sh和reducer.sh到hdfs中
-jobconf mapred.reduce.tasks=1 : reduce任务数

3. 查看结果：
$ hadoop fs –cat /user/hadoop/result/part-00000