Ubuntu 搭建CDH5*的方法:
第一步:机器配置
三台机器的ip和hostname为
- 192.168.10.236 hadoop-1
- 192.168.10.237 hadoop-2
- 192.168.10.238 hadoop-3
我们将hadoop-1作为主节点
第二步:配置三台机器的hosts文件
- vim /etc/hosts
- 192.168.10.236 hadoop-1
- 192.168.10.237 hadoop-2
- 192.168.10.238 hadoop-3
第三步:配置主节点root免密码登录到其他节点(不需要从节点到主节点)
3.1 在hadoop-1上执行ssh-keygen-t rsa -P ''生成无密码密钥对
3.2 将公钥添加到认证文件中:cat/root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
3.3 将认证文件拷贝到hadoop-2和hadoop-3的/root/.ssh/目录下,使主节点免密码访问从节点
第四步:设置root登陆密码(后面安装的时候可以用这个方式或者上传第三步生成的id_rsa私钥)
Sudo root passwd
(所以第四步可以省略)
第5步:修改ssh的配置文件:
Vim /etc/ssh/sshd_config
PermitRootLogin yes
StrictModes no
第6步重启ssh(前提是要安装ssh)
/etc/init.d/ssh restart
第七步:关闭防火墙
Sudo ufw disable
下面开始安装CM(注意,这里我们是安装cloudera manger(包括server和agent),安装好CM之后,然后通过web安装CDH,也就是cloudera hadoop的群集安装)
方式一:在线安装:(网络要好,下载很慢)
(在线0):这里采用cloudera-manager-installer.bin安装
(第二种使用第二种使用rpm、yum、apt-get方式在线安装,
第三种使用是Tarballs的方式。没有尝试)
1. $ wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
2. $ chmod u+x cloudera-manager-installer.bin
3. $ sudo ./cloudera-manager-installer.bin
4. 根据提示一步步默认,next,yes即可,安装完成后,根据提示打开web-ui,输入htpp://ip:7180进行安装agent节点
方式二:离线安装
1. 安装oracle-j2sdk1.7版本(主从都要,根据CDH版本选择对应的jdk)
$ apt-get install oracle-j2sdk1.7
$ update-alternatives --install /usr/bin/java java/usr/lib/jvm/java-7-oracle-cloudera/bin/java 300
$ update-alternatives --install /usr/bin/javac javac/usr/lib/jvm/java-7-oracle-cloudera/bin/javac 300
如果提示can not locate oracle-j2sdk1.7
解决方法:软件源里没有改软件包,所以需要更新该软件源;
sudo gedit /etc/apt/sources.list
将jdk的url增加进去(具体操作也可以上网搜)
然 sudo apt-get update再次尝试安装
2. 配置jdk环境vim /etc/profile
1. 在末尾添加
exportJAVA_HOME=/usr/lib/jvm/java-
7-oracle-cloudera
exportJRE_HOME=
${JAVA_HOME}/jre
exportCLASSPATH=.:
${JAVA_HOME}/lib:
${JRE_HOME}/lib
exportPATH=
$PATH:
${JAVA_HOME}/bin:
${JRE_HOME}/bin:
$PATH
1. source /etc/profile 使jdk配置生效