环境
- CentOS 6.5 x86_64
- CDH 5.2.0
- jdk1.7
集群规划为5个节点,每个节点的ip、主机名和部署的组件分配如下:
192.168.20.191 cm191.hadoop.d3dstore.com 元数据库,CM
192.168.20.192 nn192.hadoop.d3dstore.com NameNode、ResourceManger、JobHistoryService
192.168.20.193 dn193.hadoop.d3dstore.com DataNode、NodeManager、Zookeeper、Hive、Sqoop、Flume、Hbase
192.168.20.194 dn194.hadoop.d3dstore.com DataNode、NodeManager
192.168.20.195 dn195.hadoop.d3dstore.com DataNode、NodeManager 、Zookeeper、SecondryNameNode、Flume、Impala
创建1个hadoop用户,并给用户设置无密码sudo权限:
1:adduser hadoop
2:passwd hadoop
3:chmod u+w /etc/sudoers
4:vi /etc/sudoers
增加: hadoop ALL=(root) NOPASSWD:ALL
5:chmod u-w /etc/sudoers
1.1 配置hosts
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=cm191.hadoop.d3dstore.com
$ vi/etc/hosts
192.168.20.191 cm191.hadoop.d3dstore.com
192.168.20.192 nn192.hadoop.d3dstore.com
192.168.20.193 dn193.hadoop.d3dstore.com
192.168.20.194 dn194.hadoop.d3dstore.com
192.168.20.195dn195.hadoop.d3dstore.com
1.2关闭防火墙
$ |
service iptables stop (临时关闭) |
|
$ |
chkconfig iptables off (重启后生效) |
1.3 时钟同步
NTP服务器
集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下:
1. 191节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode