Hadoop Streaming shell 脚本命令汇总

    Hadoop Streaming由于编程相对容易，开发效率比较快，在项目中比较采用这种方式进行JOB的开发，在提交JOB的时候，都会把相关的命令整合到一个shell 文件，这里作个汇总，虽然现在没有机会做Hadoop 相关的，记下来相信会有所帮助，无论是自己还是别人。

    在编写JOB相关的脚本中，都会涉及集群输入和输出地址的定义，一般都是按照年月日并且按照文件大小进行切割，如果输入的路径下都是需要的文件，这个时候只需要定义路径的变量即可，可以利用正则匹配的方式来定义变量，如果路径下的文件需要筛选和拼接，可能会稍微麻烦点，但是Hadoop Streaming的命令对拼接的文件个数有限制，比如在map输入的时候，可以利用","将文件进行拼接，但是这里文件个数有限制，太长的话提交的时候会报错，具体数值我记不清了，大概不到2000个文件，一般情况下，当文件个数较少的时候，利用这种方式还是比较快的。下面脚本是实现一个完整的JOB提交。

#!/bin/bash # Created by @author: xyl ###################################################################### # Hadoop Environment # STREAMING_JAR: hadoop streaming jar # HADOOPMAIN: hadoop main program STREAMING_JAR=/opt/hadoop/contrib/streaming/hadoop-streaming-0.20.2-cdh3u.jar HADOOPMAIN=/opt/hadoop/bin/h