Hadoop双节点在虚拟机环境下的配置

hadoop双节点配置

一、遗留问题

1.刚刚解决了localhost:8088不显示data节点的问题，但是有点投机取巧，昨天弄了一晚上，看log好像是Master节点的8025端口一直没有开放，当时只想着怎么开放这个端口，结果弄到10点半也没有成功，其实想想8030和8050端口应该也有同样问题，今天下午直接更改yarn-size.xml文件，把里面所有要用到master的端口全部去掉了，直接访问master，这样不知道会有什么问题，不过目前也只能这么做了

2.之前根据网上的方法配置的时候，除了更改/etc/hosts 和/etc/hostname之外还更改了/etc/network/interfaces 实际上虚拟机是不需要更改网络配置的，于是今天又改回去了，但是重启之后master的ip却变了，再次更新hosts之后，master的ip又变了一次，推测是使用了sudo dhclient eth0 这个命令导致的，不过目前我还是不清楚这个命令的工作原理

 

二、配置过程

关于这一点并不想详细的记录，因为本来就是百度和看老师给的文档，按部就班的慢慢打的，关于hadoop配置的文档我也不会删除，之后有需要自己再看吧，emmm不过如果等会有网络，把这篇文档发到csdn上的话，我会把我使用的文档也贴在下面的

 

下面是我用的文档，里面有几个地方我做了修改，在这里先说一下

1.    在data节点中的yarn-size.xml文件中包含将master的端口给去掉了，原因见遗留问题

2.    Master的yarn-size.xml文件中除了在data的该文件中value为master的设置之外的其他设置也需要设置

3.    该文件是我们班里面几位同学所整理，在这里粘贴不知道算不算盗用，总之很感谢

5.2、 Data机的配置

1、设置hostname

改成data机的名字，我们在配置data 机，就把名字改成data,保存后关闭。

2、编辑hosts文件(删除127.0.1.1 回环文件)

sudogedit /etc/hosts

输入每台主机对应的IP地址：

eg:

10.115.203.100 master

10.115.203.101 data1

10.115.203.102 data2

10.115.203.103data3

这个文件中应该会有一个回环文件 ip为127.0.1.1，我们删除他，应该还会有一个localhost，这个不要动。

1、编辑core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

把<vale>hdfs://localhoost:9000</value>改为<vale>hdfs://master:9000</value>