hadoop运行MR程序笔记

这里做个笔记来记录执行步骤。

运行条件：将WordCount.java文件放在hadoop的安装目录下，并在目录下创建输入目录input，目录下有输入文件file1和file2。

 

运行步骤：

１、在集群上创建输入文件夹

bin/hadoop fs -mkdir input

2、上传本地目录input下以file为前缀的文件到集群上的input目录下：

bin/hadoop fs -put input/file* input

3、编译WordCount.java程序

javac -classpath hadoop-0.20.2-core.jar:

lib/commons-cli-1.2.jar -d WordCount WordCount.java

4、将编译结果打成jar包

jar -cvf wordcount.jar -C WordCount

5、在集群上面运行WordCount程序

bin/hadoop jar wordcount.jar WordCount input output

6、查看结果

bin/hadoop fs -cat output/part-r-00000