streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序
1. 待检索的数据放入hdfs
$ hadoop fs -put localfile /user/hadoop/hadoopfile
2. 编写map、reduce脚本,记得给脚本加可执行权限。
mapper.sh
reducer.sh
3. 运行:
$ hadoop streaming –input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name="sum_test"
说明:
-input /user/hadoop/hadoopfile : 待处理文件目录
-output /user/hadoop/result :处理结果存放目录
-file :分发mapper.sh和reducer.sh到hdfs中
-jobconf mapred.reduce.tasks=1 : reduce任务数
3. 查看结果:
$ hadoop fs –cat /user/hadoop/result/part-00000