hadoop 编译jar包和运行

hadoop 编辑通过编译jar包方法：

1.建立存放编译java class类文件    

  mkdir wordcount_classes          

2.使用javac 编译 mapreduce java类  

  javac -classpath /home/Andy/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar -d wordcount_classes/ SencondInvertIndexWithCombiner.java

 

     SencondInvertIndexWithCombiner.java  为自定义的mapreduce程序

  (-d 前面jar是hadoop自带的 核心包hadoop-core-1.0.1.jar，在安装路径下可以找到  -d 后分别为class文件存放路径 以及待编译的java源文件)

3. 将编译好的class文件打包成jar

  jar -cvf ./wordcount.jar -C wordcount_classes/ .

  （说明 -c 前面为class文件编译后jar文件名 -c 后面的为待编译的class源文件）

4.将mapreduce输入文件 put到hdfs文件系统上

   bin/hadoop fs -put /home/Andy/input1/ input1     

5. 使用编译好的jar包在hadoop框架中运行

  bin/hadoop jar /home/Andy/hadoop/wordcount.jar cn.buaa.secondInvertindex.SencondInvertIndexWithCombiner /user/root/input1 /user/root/output1 /user/root/output2

  （说明 jar 后面的jar文件为编译好的jar文件  jar后面为java源文件的类（形式为包名+类名） 最后为文件输入输出路径 ）

6.查看结果：通过hdfs命令查看output2中运行结果。