部署安装Ambari

本文主要是介绍Ambari的安装步骤，以及在安装过程中遇到的一些问题总结。Ambari 是 Apache 的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能.通过 Ambari 可以快速的部署安装 hadoop 集群，省去手动安装的麻烦。相关文档可以去它的[官网][1]查看，下面就开始介绍它的安装步骤。


事前准备工作： 
1.基本工具
yum、scp、curl、wget、pdsh、ssh 


2.环境准备 
-系统环境： CentOS release 6.2 ，Ambari 1.6.0 
-ambari server 与 ambari agent 服务器root ssh无密互访 Ambari server服务器 ssh-keygen 生产私钥公钥 id_rsa id_rsa.pub Ambari agent服务器 将ambari server 服上root生成的id_rsa.pub 上传到各个集群机器上。
cat id_rsa.pub >> authorized_keys Ambar server ssh root@ambariagent 
-所有集群机器时间同步（单机版可以忽略此步骤） 安装ntp服务 
-所有集群机器关闭selinux setenforce 0 
-所有集群机器关闭防火墙 /etc/init.d/iptables stop 
-所有集群机器centos关闭packagekit vim /etc/yum/pluginconf.d/refresh-packagekit.conf enabled=0


首先可以通过官网中提供的wiki来查看如何下载和安装ambari。在官网首页中左侧导航栏中 DOCUMENTATION 下，打开 Install Guide for 1.6.0链接（注：现在最新release版是1.6.1，但是在我安装完最新版过程中，安装失败，日志中提示的是当前数据库版本和ambari版本不兼容，导致最后ambari服务启动失败），然后在右侧页面中选择 [Install Ambari 1.6.1 from Public Repositories][2] ，就会跳转到具体的安装文档页面了。根据安装文档选择对应的linux 版本，基本上下一步就可以安装了，安装完成后通过命令 ambari-server start 启动服务，通过 ambari-server status 查看服务启动状态。


当Ambari服务端运行的时候，负责的工作已经开始了。Ambari提供一个友好的交互入口来简化集群的安装和配置，轻松的操作即可完成配置，具体是，打开浏览器，输入 http://ambari-server-hostname:8080/   然后使用 admin/admin 登陆系统。登陆后给集群起个名字。 [<img class="alignnone size-full wp-image-506" src="http://tech.shuyun.com/wp-content/uploads/2014/07/1.jpg" alt="1" width="1349" height="643" />][3]


接下来就是下载对应的HDP源，这一步要保证网速正常，否则会下载失败无法进行下一步的操作，有时候网速好也不一定能正确下载，我之前在这里也卡了很久就是过不去，网上有介绍可以先将HDP源下载下来然后直接部署本地源，试了一下然后就过了，但是不知道是不是因为部署了本地源的原因，待有空在验证下吧。 [ <img class="alignnone size-full wp-image-507" src="http://tech.shuyun.com/wp-content/uploads/2014/07/2.jpg" alt="2" width="1345" height="608" />][4] 


接着Next，这里是配置机器列表（它这里会使用正则来验证类似机器名称的节点，我这里没有按规范来，虽然会有警告也可以通过），如果有多个机器就填上每个机器的节点名称即可。我这里就一个所以填一个就好。下面的 SSH Private Key 填上上面的 ssh key 就可以了。 
[<img class="alignnone size-full wp-image-508" src="http://tech.shuyun.com/wp-content/uploads/2014/07/3.jpg" alt="3" width="1346" height="642" />][5]


接下来是注册节点，等待Ambari帮我们做好就可以了，它还提供一个接口可以查看执行进程，因为我只装了一个节点，所以这里就只有一个进程，选中它默默等待它完成即可。 [<img class="alignnone size-full wp-image-509" src="http://tech.shuyun.com/wp-content/uploads/2014/07/4.jpg" alt="4" width="1348" height="641" />][6]


接下来，选择我们需要安装的模块，它内置了依赖检查（如果选择安装的模块需要依赖别的模块，那么被依赖的模块也必须选择），这里我就只安装Ganglia相关的就可以了，其他的以后有需要可以在添加。 [<img class="alignnone size-full wp-image-510" src="http://tech.shuyun.com/wp-content/uploads/2014/07/5.jpg" alt="5" width="1345" height="643" />][7]


再来就是为Master分配需要运行的模块了，由于只有一个节点，所以这里默认就可以了 [<img class="alignnone size-full wp-image-511" src="http://tech.shuyun.com/wp-content/uploads/2014/07/6.jpg" alt="6" width="1347" height="641" />][8]


接下来是为其他节点选择服务，方便定制，继续默认配置，Next [<img class="alignnone size-full wp-image-512" src="http://tech.shuyun.com/wp-content/uploads/2014/07/7.jpg" alt="7" width="1342" height="641" />][9]


然后是定做服务，这里只需要根据提示做一些简单的输入，比如 Nagios 需要输入用户名和密码，以及报警邮件的接收者，输入完成后，Next [<img class="alignnone size-full wp-image-513" src="http://tech.shuyun.com/wp-content/uploads/2014/07/8.jpg" alt="8" width="1343" height="644" />][10]


打印前面的配置列表，没问题的话，确认部署，Ambari 就会帮我们在集群的所有节点上进行安装，这里是最耗时也是最容易出错的一个过程，如果有错误或者警告，可以点击页面上的 Warning 或者去/var/log/ambari-server/目录下查看相关错误日志，如果在安装过程中失败，可以通过界面上的 retry 重新安装，如果 retry 多次都不行的话，就要清理各个机器上的相关类库，用户，目录，配置等信息，最后就等它默默安装好吧。 [<img class="alignnone size-full wp-image-514" src="http://tech.shuyun.com/wp-content/uploads/2014/07/9.jpg" alt="9" width="1345" height="640" />][11]


下面是安装完成界面[<img class="alignnone size-full wp-image-515" src="http://tech.shuyun.com/wp-content/uploads/2014/07/10.jpg" alt="10" width="1343" height="701" />][12]


我这里有1个警告是Zookeeper相关的，虽然安装成功但是Zookeeper服务启动失败了，不过这不影响Ganglia的使用，后续再去解决吧。至此 Ambari 及其相关的组件已经安装完成，接下来就是使用他们了。通过界面启动所有服务[<img class="alignnone size-full wp-image-522" src="http://tech.shuyun.com/wp-content/uploads/2014/07/11.jpg" alt="11" width="1253" height="609" />][13]


启动成功后，访问链接 http://ambari-server-hostname/ganglia ，发现Ganglia已经运行起来了，剩下的就是定制具体的业务需求然后通过Ganglia来帮我们监控了。 <a href="http://tech.shuyun.com/wp-content/uploads/2014/07/12.jpg"><img class="alignnone size-full wp-image-523" src="http://tech.shuyun.com/wp-content/uploads/2014/07/12.jpg" alt="12" width="1311" height="485" /></a>
  安装失败 这个脚本给安装失败，需要重新安装的同学用的，在网上找的，希望可以帮助到安装失败的同学，当然最好是希望没人可以用到它。 


1.删除hdp.repo和hdp-util.repo


<pre><code>cd /etc/yum.repos.d/
rm -rf hdp*
rm -rf HDP*
rm -rf ambari*
</code></pre>


<p>
  2.删除安装包 用`yum list installed | grep HDP`来检查安装的ambari的包
</p>


<pre><code>yum remove -y  sqoop.noarch  
yum remove -y  lzo-devel.x86_64  
yum remove -y  hadoop-libhdfs.x86_64  
yum remove -y  rrdtool.x86_64  
yum remove -y  hbase.noarch  
yum remove -y  pig.noarch  
yum remove -y  lzo.x86_64  
yum remove -y  ambari-log4j.noarch  
yum remove -y  oozie.noarch  
yum remove -y  oozie-client.noarch  
yum remove -y  gweb.noarch  
yum remove -y  snappy-devel.x86_64  
yum remove -y  hcatalog.noarch  
yum remove -y  python-rrdtool.x86_64  
yum remove -y  nagios.x86_64  
yum remove -y  webhcat-tar-pig.noarch  
yum remove -y  snappy.x86_64  
yum remove -y  libconfuse.x86_64    
yum remove -y  webhcat-tar-hive.noarch  
yum remove -y  ganglia-gmetad.x86_64  
yum remove -y  extjs.noarch  
yum remove -y  hive.noarch  
yum remove -y  hadoop-lzo.x86_64  
yum remove -y  hadoop-lzo-native.x86_64  
yum remove -y  hadoop-native.x86_64  
yum remove -y  hadoop-pipes.x86_64  
yum remove -y  nagios-plugins.x86_64  
yum remove -y  hadoop.x86_64  
yum remove -y  zookeeper.noarch      
yum remove -y  hadoop-sbin.x86_64  
yum remove -y  ganglia-gmond.x86_64  
yum remove -y  libganglia.x86_64  
yum remove -y  perl-rrdtool.x86_64
yum remove -y  epel-release.noarch
yum remove -y  compat-readline5*
yum remove -y  fping.x86_64
yum remove -y  perl-Crypt-DES.x86_64
yum remove -y  exim.x86_64
yum remove -y ganglia-web.noarch
yum remove -y perl-Digest-HMAC.noarch
yum remove -y perl-Digest-SHA1.x86_64
</code></pre>


<p>
  3.删除快捷方式
</p>


<pre><code>cd /etc/alternatives
rm -rf hadoop-etc 
rm -rf zookeeper-conf 
rm -rf hbase-conf 
rm -rf hadoop-log 
rm -rf hadoop-lib 
rm -rf hadoop-default 
rm -rf oozie-conf 
rm -rf hcatalog-conf 
rm -rf hive-conf 
rm -rf hadoop-man 
rm -rf sqoop-conf 
rm -rf hadoop-conf
</code></pre>


<p>
  4.删除用户
</p>


<pre><code>userdel nagios 
userdel hive 
userdel ambari-qa 
userdel hbase 
userdel oozie 
userdel hcat 
userdel mapred 
userdel hdfs 
userdel rrdcached 
userdel zookeeper 
userdel mysql 
userdel sqoop
userdel puppet
</code></pre>


<p>
  5.删除文件夹
</p>


<pre><code>rm -rf /hadoop
rm -rf /etc/hadoop 
rm -rf /etc/hbase 
rm -rf /etc/hcatalog 
rm -rf /etc/hive 
rm -rf /etc/ganglia 
rm -rf /etc/nagios 
rm -rf /etc/oozie 
rm -rf /etc/sqoop 
rm -rf /etc/zookeeper 
rm -rf /var/run/hadoop 
rm -rf /var/run/hbase 
rm -rf /var/run/hive 
rm -rf /var/run/ganglia 
rm -rf /var/run/nagios 
rm -rf /var/run/oozie
rm -rf /var/run/zookeeper
rm -rf /var/log/hadoop 
rm -rf /var/log/hbase 
rm -rf /var/log/hive 
rm -rf /var/log/nagios 
rm -rf /var/log/oozie 
rm -rf /var/log/zookeeper 
rm -rf /usr/lib/hadoop
rm -rf /usr/lib/hbase 
rm -rf /usr/lib/hcatalog 
rm -rf /usr/lib/hive 
rm -rf /usr/lib/oozie 
rm -rf /usr/lib/sqoop 
rm -rf /usr/lib/zookeeper 
rm -rf /var/lib/hive 
rm -rf /var/lib/ganglia 
rm -rf /var/lib/oozie 
rm -rf /var/lib/zookeeper 
rm -rf /var/tmp/oozie 
rm -rf /tmp/hive 
rm -rf /tmp/nagios 
rm -rf /tmp/ambari-qa 
rm -rf /tmp/sqoop-ambari-qa 
rm -rf /var/nagios 
rm -rf /hadoop/oozie 
rm -rf /hadoop/zookeeper 
rm -rf /hadoop/mapred 
rm -rf /hadoop/hdfs 
rm -rf /tmp/hadoop-hive 
rm -rf /tmp/hadoop-nagios 
rm -rf /tmp/hadoop-hcat 
rm -rf /tmp/hadoop-ambari-qa 
rm -rf /tmp/hsperfdata_hbase 
rm -rf /tmp/hsperfdata_hive 
rm -rf /tmp/hsperfdata_nagios 
rm -rf /tmp/hsperfdata_oozie 
rm -rf /tmp/hsperfdata_zookeeper 
rm -rf /tmp/hsperfdata_mapred 
rm -rf /tmp/hsperfdata_hdfs 
rm -rf /tmp/hsperfdata_hcat 
rm -rf /tmp/hsperfdata_ambari-qa
</code></pre>


<p>
  6.重置数据库，删除ambari包，使用这句命令来检查yum list installed | grep ambari
</p>


<pre><code>ambari-server stop
ambari-agent stop
ambari-server reset
yum remove -y ambari-*
yum remove -y postgresql
rm -rf /etc/yum.repos.d/ambari*
rm -rf /var/lib/ambari*
rm -rf /var/log/ambari*
rm -rf /etc/ambari*
</code></pre>


 [1]: http://ambari.apache.org
 [2]: https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+1.6.0+from+Public+Repositories "Install Ambari 1.6.0 from Public Repositories"
 [3]: http://tech.shuyun.com/wp-content/uploads/2014/07/1.jpg
 [4]: http://tech.shuyun.com/wp-content/uploads/2014/07/2.jpg
 [5]: http://tech.shuyun.com/wp-content/uploads/2014/07/3.jpg
 [6]: http://tech.shuyun.com/wp-content/uploads/2014/07/4.jpg
 [7]: http://tech.shuyun.com/wp-content/uploads/2014/07/5.jpg
 [8]: http://tech.shuyun.com/wp-content/uploads/2014/07/6.jpg
 [9]: http://tech.shuyun.com/wp-content/uploads/2014/07/7.jpg
 [10]: http://tech.shuyun.com/wp-content/uploads/2014/07/8.jpg
 [11]: http://tech.shuyun.com/wp-content/uploads/2014/07/9.jpg
 [12]: http://tech.shuyun.com/wp-content/uploads/2014/07/10.jpg
 [13]: http://tech.shuyun.com/wp-content/uploads/2014/07/11.jpg