hadoop2x从安装到测试伪分布式集群的wordcount

标题比较长，

主要完成的功能，

1:安装hadoop2.10.1

2:搭建伪分布式集群

3:测试自带的wordcount

遇到很多坑，需要自己填。

1:从hadoop官网下载tar的hadoop2.10.1安装包，之后解压；

这里我用的自己的阿里云服务器（这里有一些坑可能你遇不到，因为这个事阿里云和本地关系造成的）

2:修改各种文件，可以参考https://blog.csdn.net/xiaozhuangyumaotao/article/details/106010114

不过里面的有点老，可以根据自己的来配置

3:注意事项有很多，这里只是找几个典型的错误：

1）配置文件不要写错，配置文件在hadoop的etc/hadoop中。

2)跑wordcount时，需要确保之前的hdfs和yarn的webhttp 的管理页面都可以进入

 

 hadoop自带默认的port，但是我们可以自己通过配置文件修改对应的port

关掉安全模式

hadoop dfsadmin -safemode leave

最后根据hdfs的指令测试mapreduce的wordcount的demo例子

把对应的文件下载下来，由于我是使用阿里云，需要在本地的etc/hosts中添加阿里云的host，否则会有权限问题。