hadoop-2.6.0-cdh完全分布式集群的搭建

1 虚拟机配置

序号	操作系统	CPU/core	内存/GB	硬盘/GB	IP地址	主机名
1	Ubuntu	2	3	20	192.168.0.122	master
2	Ubuntu	1	2	20	192.168.0.123	slave1
3	Ubuntu	1	2	20	192.168.0.124	slave2

2 集群网络配置

2.1 修改主机名

主节点名字为master,另外2个节点名字分别为slave1和slave2

root@ubuntu:~# vim /etc/hostname
master

2.2 添加映射

未了方便后续操作，3个节点都添加IP和主机名的映射

root@ubuntu:~# vim /etc/hosts
192.168.0.122   master
192.168.0.123   slave1
192.168.0.124   slave2

3 集群ssh免密登录配置

3.1 生成公钥和私钥

在3个节点上都生成ssh key

hadoop@master:ssh-keygen -t rsa

3.2 将公钥复制到远程机器中

在master上执行下面3行命令

hadoop@master:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub master
hadoop@master:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
hadoop@master:~$ ssh-copy-id -i ~/.ssh/id_rsa.pub slave2

3.3免密ssh登陆测试

hadoop@master:~$ ssh master
hadoop@master:~$ ssh slave1
hadoop@master:~$ ssh slave2

4 在主节点安装JDK和Hadoop

4.1 安装jdk

hadoop@master: tar -zxvf java.tar.gz -C ~/app  	//解压
//设置JVM环境变量
hadoop@master:echo 'export JAVA_HOME=/home/hadoop/app/java' >> ~/.bashrc
hadoop@master:echo 'PATH=${JAVA_HOME}/bin:$PATH' >> ~/.bashrc
hadoop@master:source .bashrc 	//刷新

4.2 安装hadoop

hadoop@master:tar -zxvf hadoop-2.6.0-cdh5.9.3.tar.gz -C ~/app
hadoop@master:mv app/hadoop-2.6.0-cdh5.9.3 ~/app/hadoop
#设置hadoop环境变量
ha