ambari2.6.0 安装 HDP2.6.3 离线安装

2019独角兽企业重金招聘Python工程师标准>>>

先简单认识认识一下ambari是个啥

百度百科：Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

简单的说ambari就是专门用来集成、管理、监控Hadoop集群的web工具（是不是感觉特牛逼）

闲话不多说，现在开始安装，我这里是用的VMware虚拟机安装的centos7，如果centos不会安装，就出门右转

一、准备工作

1、下载工具

HDP：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz

ambari：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz

HDP-UTILS：http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

jdk：jdk1.8

linux：centos7

2、准备好一台处女centos7

3、修改hostname为master

vim /etc/hostname

4、关闭防火墙，并禁止开机启动

systemctl stop firewalld
systemctl disable firewalld

5、关闭SElinux

vim /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

6、安装jdk，把下载好的jdk放大Linux中，我这里用的Linux挂在windows共享目录

点击转入：https://my.oschina.net/u/2258281/blog/124825

7、设置UMASK

echo umask 0022 >> /etc/profile

8、如果安装了PackageKit，需要设置启动，默认情况下，Debian，SLES或Ubuntu系统上未启用PackageKit，未安装的跳过

vim /etc/yum/pluginconf.d/refresh-packagekit.conf

enabled=0

9、安装ntp服务，这里是使用网络的时间服务器，请转向这里 https://blog.csdn.net/zzy5066/article/details/79036674

10、配置python的http验证

vim /etc/python/cert-verification.cfg

[https]

verify=disable

11、关闭虚拟机，关闭虚拟机，克隆另外一个子节点，这样的好处是上面的基础设置不需要在另一个自节点重新配置

12、设置子节点Linux的hostname为node1

13、配置hosts，所有节点都需要配置，我这里只弄了两个节点master和node1

vim /etc/hosts

添加

192.186.1.19 master

192.186.1.24 node1

13、配置免秘钥ssh登录，两个节点都需要配置，配置方法转向这里 https://blog.csdn.net/leelian_jason/article/details/53242473

14、master节点安装 Apache HTTP 服务器

yum install httpd

启动http服务，并设置http服务开机启动

systemctl start httpd.service
systemctl enable httpd.service

二、制作本地源

1、在/var/www/html目录下创建ambari文件夹,把下载好的ambari-2.6.0.0-centos7.tar.gz，ambari-2.6.0.0-centos7.tar.gz，HDP-UTILS-1.1.0.21-centos7.tar.gz放到Linux /var/www/html/ambari 目录下面

创建/var/www/html/ambari目录下创建HDP-UTILS目录

mkdir HDP-UTILS

解压文件

tar -zxvf ambari-2.6.0.0-centos7.tar.gz
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C HDP-UTILS

2、安装本地源工具

yum install yum-utils createrepo yum-plugin-priorities -y

createrepo  .

3、配置ambari.repo和hdp.repo

/var/www/html/ambari/ambari/centos7/2.6.0.0-267/ambari.repo /var/www/html/ambari/HDP/centos7/2.6.3.0-235/hdp.repo

把红色的位置，修改成自己本地的地址，可以在浏览器上访问以下，看是否能访问的到

4、把ambari.repo和hdp.repo复制到/etc/yum.repos.d/下

cp ambari/centos7/2.6.0.0-267/ambari.repo /etc/yum.repos.d/

cp HDP/centos7/2.6.3.0-235/hdp.repo /etc/yum.repos.d/

三、安装ambari-server

1、清除yum缓存

yum clean all
yum makecache
yum repolist

2、安装ambari-server

yum -y install ambari-server

安装好后这里先不配置ambari，先打开/var/lib/ambari-server/resources/Ambari-DDL-Postgres-CREATE.sql文件，把里面字段的长度从255改成1000,100改成300,32的改成100，防止安装时出现长度不够的情况

3、配置ambari

ambari-server setup

4、先不启动ambari-server，这里先配置ambari默认的pgsql外部可访问

vim /var/lib/pgsql/data/pg_hba.conf

添加红色的部分

4、配置ambari pgsql的jdbc,下载地址 https://jdbc.postgresql.org/download/postgresql-42.2.5.jar 把下载的jar文件放到/var/lib/ambari-server目录中

vim /etc/ambari-server/conf/ambari.properties

添加server.jdbc.driver.path=/var/lib/ambari-server/postgresql-42.2.5.jar

5、启动ambari-server

ambari-server start

启动完成后，然后用Navicat打开pgsql就能看到ambari创建ambari数据及表了

四、配置HDP集群

1、访问http://192.168.1.19:8080 使用默认账户登录，admin/admin

2、登录后配置添加集群

设置集群名称

HDP版本选择安装的版本

镜像源选择本地源

配置集节点，这里只有一个节点node1，秘钥文件选择id_rsa,此文件在master机器 /root/.ssh/目录下面

现在等它安装注册成功就好了

接下来，选择需要安装的组件就行，我这里虚拟机内存较小，只安装了HDFS和yarn

接下一直点下一步就行了，遇到这种情况不用担心，这只是让你配置密码，你配置好就行了

然后接着下一步

等待安装就行了

在长达半个多世纪的等待终于安装完成了

五、错误回顾

1、在注册ambari-agent时遇到如下错误

NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579) NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

解决方案，打开子节点的ambari-agent.ini文件

vim /etc/ambari-agent/conf/ambari-agent.ini

在 ［security］增加一项

force_https_protocol=PROTOCOL_TLSv1_2

然后重启ambari-agent

ambari-agent restart

2、如果按照1中的方式配置了amabri-angent还是出现ssl错误，重新配置ambari-server，在选择jdk时，不要配置自己的jdk，利用ambar-server下载配置jdk

3、节点注册安装成功后一直是 Please wait while the hosts are being checked for potential problems...，清除浏览器缓存，顺序执行下面命令

ambari-server stop
ambari-server reset
ambari-server start

六、总结

ambari安装过程中，出错是正常的，错误也是特别多，淡定对待，注意看错误日志，根据错误日志，解决问题，才是正确的

日志文件位置：/var/log/ambari-server/ambari-server.log

转载于:https://my.oschina.net/u/2258281/blog/2981096