如何在Hadoop上跑通WordCount

先整体上说一下整个流程是怎么弄的。

首先我们需要有WordCount.java源程序，输入文档file1.txt，里面写上几行单词。接着对该源文件进行编译，编译之后打包成jar。然后把file1传到hadoop里，接着把file1、jar包扔给hadoop让他来帮我们统计每个单词出现的次数，结果输出在我们指定的路径里的part-r-00000。

下面来看具体是怎么操作的吧！

首先，需要Hadoop集群已经搭建好。我用的是1个slave（192.168.206.129），两个master（192.168.206.130/131）。

接着启动Hadoop：

        cd /opt/linuxsir/hadoop/sbin

        ./start-dfs.sh

        ./start-yarn.sh

在三个节点上查看进程，验证Hadoop是否成功启动（我用的ssh无密码登陆），如果启动成功，就是下图所示。如果发现slave1和slave2上DataNode进程没有启动，可参考我之前写的一篇文章速查：搭建hadoop集群，遇到问题怎么解决（一）。，尝试解决这个问题：

        jps

        ssh [email protected] jps

        ssh [email protected] jps