Ubuntu12.04+hadoop-1.1.2运行wordcount示例

HADOOP自己带有一些实例，比如wordcount实例实现统计单词在文本文件中的出现次数。下面是实验过程：

 

下面的命令，都直接是hadoop/bin里的命令，如果在/etc/profile里设置过PATH和CLASSPATH属性了，就可以和我一样省略掉命令路径前缀。

 

第一步：创建一个目录，作为数据输入源目录。

命令行输入：mkdir  input

 

第二步：在input里创建两个文件，分别为test1 、test2

命令行输入：

cd input

echo "hello world" >test1.txt

echo "i am hadoop, hello">test2.txt

 

第三步：退回上级目录，把本地input目录复制到HDFS的根目录下，重命名为 in。

命令行输入：cd ../

命令行输入：hadoop dfs -put input in

 

第三步：执行wordcount实例。注意，我的hadoop的版本是1.1.2，里边的文件名也和以前的版本不一样 hadoop-examples-1.1.2.jar

另外，如果之前执行过这个命令，需要先删除hdfs系统目录里的out目录。

命令行输入：hadoop dfs -rmr out

命令行输入：hadoop jar   hadoop-examples-1.1.2.jar wordcount   in  out

 

第四步：执行完毕后，可以查看HDFS上的处理结果。

命令行输入： hadoop dfs -cat out/*

 

另外，也可以把输出文件out从HDFS复制到本地文件系统，

命令行输入：hadoop dfs -get out output

命令行输入：cat output/*