WordCount程序 编译

弄了几天Hadoop遇到了许多问题，记录在自己的EverNote上，但是学习的过程也感谢很多人无私的分享，所以也想把自己的过程记录下来，希望偶尔也可以帮助到别人。

 

第一步是参照这篇文章

http://wenku.baidu.com/view/33c6b8a7f61fb7360b4c6551.html

还蛮详细，一直使用第一种编译方法，即是Hadoop-0.20.2-examples.jar, 原谅我使用如此低的版本，我只是暂时练练手

 

针对于第二种编译方法更加适合我，因为我需要修改WordCound源代码,所以在这过程中遇到了蛮多错误

org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
这个错误应该还满常见的吧，只要在Hadoop的目录下输入：

bin/hadoop dfsadmin -safemode leave

今天运行  wordcount  例子时出现了无法获取in目录中到文件问题 could not obtain block

解决方案： 把input删除，重新在-put到hdfs上

第一步参照了网站  http://blog.csdn.net/jostey/article/details/6923743 出了一系列问题就出现Web 管理界面打不开。（我就是修改了源码指望重新生成执行文件结果弄成这样滴）

解决方案： http://shidan66.iteye.com/blog/2000510  

 

WordCount.java编译的时候一直不对，

在网上搜索了一下，找到了原因，在 classpath 中再加上一个 jar 包即可：

ubuntu@ubuntu:~/dev/wordcount$ javac -classpath /home/ubuntu/hadoop-1.0.4/hadoop-core-1.0.4.jar:/home/ubuntu/hadoop-1.0.4/lib/commons-cli-1.2.jar -d bin WordCount.java

对应我的实验效果是 ：进入自己创建的文件file里面，然后编译

第一步编：javac classpath /usr/local/hadoop/hadoop-0.20.2-core.jar:/usr/local/hadoop/lib/commons-cli-1.2.jar -d /usr/local/hadoop/file WordCount.java

此时当前文件下应该生成三个class文件，记得把pakage删掉org.apache.hadoop.examples(要不然后面一直会出错) 学习一下java的编译原理

下一步打包：jar -cvf WordCount.jar ./WordCount*.class （这是把class文件打包成jar文件）

关于运行很多版本是：./hadoop jar /usr/local/hadoop/file/WordCount.jar org.apache.hadoop.examples.WordCount input output. 但是正如上所说会出错，还是直接删掉package

下一步运行：./hadoop jar /usr/local/hadoop/file/WordCount.jar WordCount input output

问题出现了，mapreduce不动，这是可以删除input文件重新再上传一次

 

以上就是编译中出现的问题，主要参照http://wenku.baidu.com/view/33c6b8a7f61fb7360b4c6551.html中间遇到的各种问题我已经简单地进行了如上总结。