我们一般使用hadoop都会在虚拟机上面,所以我针对的都是在虚拟机上的hadoop集群。
准备阶段
1,:将原来搭建的hadoop单机版环境的虚拟机拷贝一份(详细信息http://blog.csdn.net/fullyfang/article/details/9391835).
2:准备两台服务器,如下:
机器名 IP地址 作用
hadoop.main 192.168.0.105 运行 NameNode,JobTracker,DataNode,TaskTracker
hadoop.slave 192.168.0.104 运行 DataNode,TaskTracker
注:IP地址的和用户名的设置根据自己实际情况而定且两台主机必须使用相同的用户名运行hadoop
实践阶段
3:修改主机的名称 输入 vi /etc/hostname,将hostname修改为hadoop.main 按x保存后退出。
再输入:vi /etc/hosts修改网络,输入:
192.168.0.105 hadoop.main localhost
192.168.0.104 hadoop.slave(我的是redhat,可能不同的linux显示数据不一样,视具体情况而定), 按x保存后退出。
4:修改另一台服务器的主机名
vi /etc/hostname,将hostname修改为hadoop.slave 按x保存后退出。
再输入:vi /etc/hosts修改网络,输入:
192.168.0.105 hadoop.main
192.168.0.104 hadoop.slave localhost ,按x保存后退出。
5:修改2台主机的core-site.xml,配置HDFS的地址和端口号
vi conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop.main:9000</value>
</property>
</configuration>
6:修改2台主机的MapReduce的配置文件,配置的是JobTracker的地址和端口
vi conf/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop.main:9001</value>
</property>
</configuration>
7,修改2台主机中的hadoop配置文件masters,输入vi /home/hadoop/cof/masters
输入:hadoop.main,按x保存后退出。
8,修改2台主机中的hadoop配置文件slaves,输入vi /home/hadoop/cof/slaves
hadoop.main
hadoop.slave,按x保存后退出。
9:在haddop.main节点中的hadoop安装目录下运行
bin/hadoop namenode -format
10:启动hadoop
bin/start-all.sh
注:5—9步两台机器的配置和操作是一样的。
上述步骤完成之后,在浏览器中输入:http://localhost:50070/ 后打开hdfs页面
点击Live Nodes 。
显示:Live Datanodes : 2说明集群环境搭建成功。