WordCount操作步骤

WordCount操作步骤

1. 启动Hadoop，注意！启动前需要格式化文件系统！启动后执行jps的结果进程应至少包含一个NameNode，一个DataNode，一个SecondaryNameNode
2. 创建一个input目录（文件夹的路径大家自己选择，这里我保存在opt文件夹，新建了个WordCount文件夹）

mkdir /opt/WordCount
cd /opt/WordCount
mkdir input
cd input

3. 在input目录下创建两个文本文件：text1.txt，text2.txt

echo "Hello Hadoop bye Hadoop">text1.txt
echo "Hello world Bye world">text2.txt

4. 把input目录复制到HDFS文件系统中，并命名为in目录。若HDFS目录不存在，需提前创建。

hadoop fs -mkdir -p /WordCount/in
hadoop fs -put /opt/WordCount/input /WordCount/in

5. 执行WordCount程序（进入个人电脑安装Hadoop的那个文件夹，打开相关文件路径，例如我的是在/home/hadoop/hadoop路径下）

cd /home/hadoop/hadoop/share/hadoop/mapreduce/
hadoop jar hadoop-examples-1.2.1.jar wordcount /WordCount/in/input /WordCount/out

6. 稍等一段时间，任务就执行完成了，我们来看一下执行的结果

hadoop fs -ls /WordCount/out

这时的结果应该是有两个文件，其中一个叫part-r-00000，我们显示这个文件中的内容
hadoop fs -text /WordCount/out/part-r-00000