通过上面几篇文章,我们熟悉了单机情况下的HDFS操作和MapReduce计算,在实际使用中,为了提升性能和稳定性,大数据组件都会以集群的方式存在,本文将阐述如何搭建hadoop集群。
1 系统、软件和前提约束
- CentOS 7
(1)三台CentOS都已经配置免密登录
https://www.jianshu.com/p/0cc72b228647
(2)三台CentOS都已经安装jdk,并配置JAVA_HOME环境变量
https://www.jianshu.com/p/826dc5eca7cb
(3)作者三台CentOS机子具体信息如下,请读者根据实际情况设置:
| 主机名 | ip | 账号/密码 |包含节点|
| master| 192.168.79.128 | root/zhangli | resourcemanager,namenode |
| slave1| 192.168.79.129 | root/zhangli | nodemanager,datanode |
| slave2| 192.168.79.130 | root/zhangli | nodemanager,datanode |
在三台CentOS机子中以root执行以下命令,确定关闭防火墙
systemctl stop firewalld
- hadoop-2.5.2
hadoop下载链接: