Hadoop集群监控系统Ambari安装
原创文章,转载请注明出处 http://qingtangpaomian.iteye.com/blog/1671305
1. 写在前面
Ambari是Apache的一个开源项目,旨在提供一个Hadoop集群安装、管理、配置、监控的一体化工具。Ambari使用了开源项目hmc完成hadoop的安装功能 , 在监控方面则使用了ganglia和nagios两个开源项目。
本人在安装ambari的过程中遇到了种种问题,特别写博客记录下来,给大家参考。
注意 :本文当中的所有操作,建议以root账户执行。
2. Ambari安装
2.1 Step1 - 获取Ambari
1. 从SVN获取代码
2. 将源代码打包为rpm包
使用rpm打包工具将ambari源代码打包 :
注意 : 这些步骤执行完成后,会在下面的路径中发现对应的rpm包,这些包就是ambari各组件对应的安装包。
1) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-1.0.0-1.noarch.rpm
2) hmc/package/rpm/build/rpmbuild/RPMS/noarch/ambari-agent-1.0.0-1.noarch.rpm
3) mon_dashboard/package/rpm/build/rpmbuild/RPMS/noarch/hdp_mon_dashboard-0.0.1-2.noarch.rpm
2.2 Step2 - 安装Ambari Master Server
注意 : Ambari使用的是master - slaver 的这种结构,在集群中有一个节点作为master server节点,而其他节点作为slaver,听从master节点的调度。在安装之前,需要读者对从集群当中选择一个节点作为ambari master节点。
1. 安装前的准备
在安装ambari之前,需要做一下两件事情
1) : 配置Ambari Master到其他所有Slaver的 password-less SSH(参考以下内容)
2. Copy pubkey to each nodes:
Scp ~/.ssh/id_dsa.pub root@<each node IP>:/.ssh/authorized_keys
3. Back up id_dsa, this will be as private key when you want to launch Ambari install Hadoop clusters.
Note: you might need create .ssh folder on each node manually.
2) : 关闭防火墙
2. 安装Ambari Server依赖模块
注意 : Ambari server对puppet , ruby , passenger , httpd等模块有依赖,所以在安装ambari server需要先安装依赖模块。
a. 先在本机添加yum仓库,包括redhat, hontworks以及passenger的仓库 :
如果是i386则执行以下操作:
b. 安装php模块
# yum install php-pdo
# php -m | grep posix
如果posix模块没有找到,则执行以下操作
c. 执行以下操作,安装Ambari master主要依赖
# yum install httpd-devel
# yum install mod_passenger
# yum install puppet-2.7.9
# yum install ruby-devel
3. 安装Ambari master
# rpm -iv hdp_mon_dashboard-0.0.1-2.noarch.rpm
2.3 Step3 - 安装Ambari Agent
1. 安装依赖(这里同Ambari Server完全相同)
a. 先在本机添加yum仓库,包括redhat, hontworks以及passenger的仓库 :
如果是i386则执行以下操作:
b. 安装php模块
# yum install php-pdo
# php -m | grep posix
如果posix模块没有找到,则执行以下操作
c. 执行以下操作,安装Ambari 主要依赖
# yum install httpd-devel
# yum install mod_passenger
# yum install puppet-2.7.9
# yum install ruby-devel
2. 安装Ambari Agent
2.4 Step4 - 启动Ambari
1. 启动Ambari Server
a) 从网址 http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u26-download-400750.html 下载以下的三个文件,拷贝到ambari master所在机器的路径/var/run/hmc/downloads/ 下
1) jdk-6u26-linux-x64.bin
2) jdk-6u26-linux-i586.bin
3) jce_policy-6.zip
b) 启动Ambari Master
2. 启动Ambari Agent
3. 从Web界面访问Ambari服务
搭建完成Ambari服务后,就可以通过以下Web地址访问Ambari服务 http://AMBARIMASTER/hmc/html/,如果能够成功访问,则搭建成功。