HADOOP自己带有一些实例,比如wordcount实例实现统计单词在文本文件中的出现次数。下面是实验过程:
下面的命令,都直接是hadoop/bin里的命令,如果在/etc/profile里设置过PATH和CLASSPATH属性了,就可以和我一样省略掉命令路径前缀。
第一步:创建一个目录,作为数据输入源目录。
命令行输入:mkdir input
第二步:在input里创建两个文件,分别为test1 、test2
命令行输入:
cd input
echo "hello world" >test1.txt
echo "i am hadoop, hello">test2.txt
第三步:退回上级目录,把本地input目录复制到HDFS的根目录下,重命名为 in。
命令行输入:cd ../
命令行输入:hadoop dfs -put input in
第三步:执行wordcount实例。注意,我的hadoop的版本是1.1.2,里边的文件名也和以前的版本不一样 hadoop-examples-1.1.2.jar
另外,如果之前执行过这个命令,需要先删除hdfs系统目录里的out目录。
命令行输入:hadoop dfs -rmr out
命令行输入:hadoop jar hadoop-examples-1.1.2.jar wordcount in out
第四步:执行完毕后,可以查看HDFS上的处理结果。
命令行输入: hadoop dfs -cat out/*
另外,也可以把输出文件out从HDFS复制到本地文件系统,
命令行输入:hadoop dfs -get out output
命令行输入:cat output/*