hadoop下执行一个执行一个简单的MapReduce例子记录

具体的操作步骤是按照： MapReduce Tutorial  ，进行的。

MapReduce任何的输入及输出类型：

由于我安装hadoop时是按照single node 模式安装的，故以下操作皆在single node下进行。

一，编辑好例子中的源代码并保存。

二，配置bash的环境变量。

$ gvim .bashrc  

export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar

退出gvim并保存

$ source .bashrc   以使得配置的变量生效。

三，编译WordCount.java 并创建jar文件

$ bin/hadoop com.sun.tools.javac.Main WordCount.java
$ jar cf wc.jar WordCount*.class

四，创建好待输入的文件

五，运行java程序(需要把java程序复制到当前目录下）

$ bin/hadoop jar wc.jar WordCount /home/shijin/test /home/shijin/output

注意：在shijin目录下不能有与output同名的文件，否则会执行失败。

六，查看结果

$ bin/hdfs dfs -cat /home/shijin/output/part-r-00000