Ubuntu14.0.4下，shell编译-打包-运行Hadoop2.7.2的MapReduce程序

    本文实例环境：

    Ubuntu14.0.4    Hadoop 2.7.2 

    运行在本地模式

    本文是根据对网上【作者：给力星】的文件的实践，作者原文在：

     http://www.powerxing.com/hadoop-build-project-by-shell/

一、Hadoop 2.x 版本中的依赖 jar

    Hadoop 2.x 版本中 jar 不再集中在一个 hadoop-core*.jar 中，而是分成多个 jar，如使用 Hadoop 2.6.0 运行 WordCount 实例至少需要如下三个 jar:

• $HADOOP_HOME/share/hadoop/common/hadoop-common-2.6.0.jar
• $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar
• $HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

    实际上，通过命令 hadoop classpath 我们可以得到运行 Hadoop 程序所需的全部 classpath 信息。

二、编译、打包 Hadoop MapReduce 程序

    我们要将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 ~/.bashrc 中增加如下几行：

    export HADOOP_HOME=/usr/local/hadoop

    export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

    另外：这里我是将整个hadoop classpath（就是把执行此命令后的输出的全部内容）的内容添加到CLASSPATH中：

    	必须要把以上两个变量加到~/.bashrc文件中，保存后，别忘了执行 source ~/.bashrc 使变量生效。

    1、编译：通过 javac 命令编译 WordCount.java ：

 
 

  
  
cb@Standalone14:~/Documents/javaT$ ls
WordCount.java
cb@Standalone14:~/Documents/javaT$ javac WordCount.java 
cb@Standalone14:~/Documents/javaT$ ls
WordCount.class  WordCount$IntSumReducer.class  WordCount.java  WordCount$TokenizerMapper.class
 
 

    2、打包：把 .class 文件打包成 jar：

 
 

  
  
cb@Standalone14:~/Documents/javaT$ jar -cvf WordCount.jar ./WordCount*.class
added manifest
adding: WordCount.class(in = 1943) (out= 1013)(deflated 47%)
adding: WordCount$IntSumReducer.class(in = 1793) (out= 751)(deflated 58%)
adding: WordCount$TokenizerMapper.class(in = 1790) (out= 765)(deflated 57%)
cb@Standalone14:~/Documents/javaT$ ls
WordCount.class  WordCount$IntSumReducer.class  WordCount.jar  WordCount.java  WordCount$TokenizerMapper.class
 
 

    3、执行：执行jar文件中的MapReduce程序：

cb@Standalone14:~/Documents/javaT$ hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount input output

     注意说明：

    1）、运行MapReduce程序时，需要使用类的命名。

    2）、MapReduce的输入，是HDFS上的文件。

    3）、MapReudce的输出目录，在HDFS上没有该文件夹。

    4、查看结果：

cb@Standalone14:~/Documents/javaT$ hadoop dfs -cat /user/cb/output/part-r-00000
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

echo    1
game    1
of    1
rainbow    1
the    2
waitting    1

    感谢给力星的分享。