第一个Hadoop程序WordCount

参考博客：ubuntu安装hadoop详细步骤

环境：
ubuntu16.04LTS＋Hadoop2.7.4
配置可参考ubuntu16.04 Hadoop安装

1. 本地新建一个文件，笔者在~/Documents目录下新建了一个wordCount.txt文档，里面的内容可以随便填写。

   I have an apple
   I have a pen
   emmmmm
   applepen

2. 在HDFS中新建一个文件夹，用于上传本地的txt文档。
   在hadoop2.7.4目录下输入如下命令:
   bin/hdfs dfs -mkdir /test ，表示在hdfs的根目录下建立了一个test目录。
   使用bin/hdfs dfs -ls / 可查看目录。

3. 将本地words文档上传到test目录中。
   使用如下命令进行上传操作：
   　bin/hdfs dfs -put /home/leesf/words /test/
   使用如下命令进行查看
   bin/hdfs dfs -ls /test/

4. 运行wordcount
   使用如下命令运行wordcount：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /test/WordCount.txt /test/out

运行完成后，在/test目录下生成名为out的文件，使用如下命令查看/test目录下的文件:
bin/hdfs dfs -ls /test
　　　　
5. 查看运行结果
　使用如下命令查看运行结果：
　　bin/hadoop fs -cat /test/out/part-r-00000

然而我的虚拟机跑了20分钟也没跑完这个程序。。。
问题出在yarn上了。yarn的配置对虚拟内存，磁盘等有很多要求，按很多博客都没配置好，于是换了一种配置方式。

经过几天调试发现问题，根据ubuntu16.04 Hadoop安装安装的hadoop调用了yarn程序，但是在单机上运行这个就跑不起来，于是参考博客ubuntu安装hadoop详细步骤
重新修改了mapred-site.xml.template文件，
将

<configuration>
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
</configuration>

更改为

<configuration>
　　　<property>
　　　　　<name>mapred.job.tracker</name>
　　　　　　　<value>localhost:9001</value>
　　　</property>
</configuration>

其他配置文件不变。
之后就不需要调用yarn就可以直接运行了。里面具体都是些什么还不太了解，先配好环境慢慢学吧！