部门老大要求搭建一个四台服务器组成的hadoop集群,做一些小中型数据集的数据处理工作。
赶鸭子上架,尝试了一下ambari平台的一键式安装,感觉很方便,来分享一下过程。
第一篇博文,不足之处,望大家包含。
需要的软件和硬件:
1.三台ubuntu12的虚拟机
2.HDP-2.4.0.0-ubuntu12-deb.tar.gz
3.ambari-2.2.1.0-ubuntu12.tar.gz
4.HDP-UTILS-1.1.0.20.tar.gz
上面的三个包相对较大,我是把他放到了本地的master上,做成了一个本地库,不然每个每个节点在安装过程从网上下载速度可能有些慢,当然。。。网速够快的可以忽略。
一、虚拟机配置
1.修改主机名,参照如下表
(可以不改,我是为了方便辨认)
master | master.bigdata.com |
slave1 | slave1.bigdata.com |
slave2 | slave2.bigdata.com |
2.修改各个虚拟机的hosts文件
10.10.0.98 | master.bigdata.com | master |
10.10.0.97 | slave1.bigdata.com | slave1 |
10.10.0.96 | slave2.bigdata.com | slave2 |
3.把上面的三个包放到/var/www/html路径下,解压命令tar -zxvf
4.在master的/var/www/html路径下执行命令
python -m SimpleHTTPServer开启http服务。
5.下载一个ambari的存储库地址文件到虚拟机
命令:
(1)wget -nv http:/public-repo-1.hortonworks.com/ambari/ubuntu12/2.x/updates/2.2.1.0/ambari.list -O