CentOS7上安装Ambari2.5.2+HDP-2.6.2.0
1. 相关环境要求说明
本安装过程是在无法访问外网情况下,采用本地源上安装的,在安装过程中可能需要下载相关软件包,因此可以先配置好yum的本地源环境,安装步骤可参考:
http://blog.csdn.net/sunggff/article/details/78930379
集群节点说明: 220.192.10.132 ambari
220.192.10.121 hdp-1
220.192.10.123 hdp-2
220.192.10.123 hdp-3
首先,在各台节点上作废原有repo文件,再将已配好的yum本地源repo文件拷贝至各个节点,使yum能成功执行。
1.1 Ambari与HDP版本兼容性
1.2 Ambari2.5.2浏览器要求
1.3 软件要求
On each of your hosts:
• yum and rpm (RHEL/CentOS/Oracle Linux)
• zypper and php_curl (SLES)
• apt (Debian/Ubuntu)
• scp, curl, unzip, tar, and wget
• OpenSSL (v1.01, build 16 or later)
• Python
For SLES 11:
Python 2.6.x
For SLES 12:
Python 2.7.x
For CentOS 7, Ubuntu 14, Ubuntu 16, and Debian 7:
Python 2.7.x
1.4 JDK要求
Ambari 2.5.2.0匹配的JDK是:jdk-8u112-linux-x64.tar.gz
1.5 数据库要求
1.6 内存要求
2. 准备安装环境
2.1 准备好相关软件包
- jdk-8u112-linux-x64.tar.gz
- jce_policy-8.zip
- ambari-2.5.2.0-centos7.tar.gz
- HDP-2.6.2.0-centos7-rpm.tar.gz
- HDP-UTILS-1.1.0.21-centos7.tar.gz
2.2 设置SSH免密钥登录
2.2.1 使用root用户执行命令:ssh-keygen
2.2.2 执行命令:ssh-copy-id hdp-*
将公钥分别发送至其他节点(*是指:1~3台节点编号):
2.2.3 分别执行命令:ssh hdp-*
(*是指:1~3台节点编号),查看是否能够免密登录每台节点节点:
2.3 修改/etc/hosts文件
vi /etc/hosts
220.192.10.132 ambari
220.192.10.121 hdp-1
220.192.10.123 hdp-2
220.192.10.123 hdp-3
将hosts文件拷贝至其他节点: scp /etc/hosts hdp-1:/etc
scp /etc/hosts hdp-2:/etc
scp /etc/hosts hdp-3:/etc
2.4 安装ntp服务
在安装ambari的服务器及各个集群节点上安装ntp服务,保证访问ambari的web界面各节点之间时间同步。 yum install -y ntp
chkconfig ntpd on
2.5 关闭防火墙
service firewalld stop
systemctl disable firewalld
2.6 安装httpd服务
2.6.1 若安装过,查看httpd当前状态:
systemctl status httpd
2.6.2 若未安装,执行命令:
yum install -y httpd
#(Apache httpd)
2.6.3 创建web server目录:
mkdir -p /var/www/html
2.7 解压Ambari、HDP的压缩包
2.7.1 创建相关目录并解压文件:
mkdir /var/www/html/hdp #创建hdp目录
tar -zxf ambari-2.5.2.0-centos7.tar.gz -C /var/www/html/
tar -zxf HDP-2.6.2.0-centos7-rpm.tar.gz -C /var/www/html/hdp
tar -zxf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/hdp
2.7.2 使用浏览器确认是否创建成功:
3. 安装Ambari
3.1 下载ambari.repo、hdp.repo
ambari.repo: http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.2.0/ambari.repo
hdp.repo: http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.0/hdp.repo
3.2 将repo文件上传至/etc/yum/repos.d/目录
有网的话: wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.
5.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repowget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/
updates/2.6.2.0/hdp.repo -O /etc/yum.repos.d/hdp.repo
查看源是否下载成功:
3.3 修改ambari.repo和hdp.repo文件
将ambari.repo和hdp.repo文件中的baseurl、gpgkey地址改为发布在本地httpd服务上对应的地址
ambari.repo #VERSION_NUMBER=2.5.2.0-298
[ambari-2.5.2.0]
name=ambari Version - ambari-2.5.2.0
baseurl=http://220.192.10.132/ambari/centos7
gpgcheck=1
gpgkey=http://220.192.10.132/ambari/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
hdp.repo #VERSION_NUMBER=2.6.2.0-205
[HDP-2.6.2.0]
name=HDP Version - HDP-2.6.2.0
baseurl=http://220.192.10.132/hdp/HDP/centos7
gpgcheck=1
gpgkey=http://220.192.10.132/hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.21
baseurl=http://220.192.10.132/hdp/HDP-UTILS-1.1.0.21/repos/centos7
gpgcheck=1
gpgkey=http://220.192.10.132/hdp/HDP-UTILS-1.1.0.21/repos/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
将ambari.repo和hdp.repo拷贝至集群各节点: scp /etc/yum.repos.d/ambari.repo root@hdp-1:/etc/yum.repos.d
scp /etc/yum.repos.d/hdp.repo root@hdp-1:/etc/yum.repos.d
3.3 安装Ambari服务
yum install ambari-server
输入 y
,在安装Ambari时会同时安装Ambari的默认数据库PostgreSQL
。
3.4 设置Ambari服务
在执行ambari-server setup
命令时需要配置JDK,JCE policy,由于服务器没有外网,不能从网上下载,所以需要提前将相应版本JDK、JCE下载好,此Ambari版本对应JDK版本为jdk-8u112-linux-x64.tar.gz
,JCE policy版本为jce_policy-8.zip
将下载好的JDK、JCE policy上传至目录:/var/lib/ambari-server/resources/
输入命令:ambari-server setup
3.4.1 若没有临时关闭SELinux,会出现以下警告:
输入y
,继续
3.4.2 Ambari Server默认在root下运行,输入n
即表示采用root运行,若你想使用其他用户来运行ambari-server,输入y
,然后输入你想使用的用户名(我用的是root)
3.4.3 检查防火墙和JDK
若防火墙没关则会出现警告信息输入y
继续,JDK默认采用JDK 1.8+
,输入1
即可
3.4.4 数据库配置,默认输入n
,若输入y
,则可以配置你已有的数据库(PostgreSQL、MySQL/MariaDB、Oracle),根据提示进行相应操作
默认的PostgreSQL 数据库名称为ambari
,用户名为ambari
密码为bigdata
3.4.5 启动Ambari服务
执行命令开启:ambari-server start
查看状态:ambari-server status
关闭:ambari-server stop
3.4.6 测试是否启动成功
在浏览器中输入地址:http://220.192.10.132:8080
,查看是否跳转至登录界面,
Ambari默认登录用户名为admin
,密码为admin
登录成功后的界面
4. 安装HDP-2.6.2.0
4.1 点击按钮:Launch Install Wizard
,开启集群安装向导,输入自定义的集群名
4.2 选择HDP版本及资源库地址
根据在本地下载好的HDP版本:HDP-2.6.2.0
选则你配置有HDP的OS,并输入http服务的地址:
HDP-2.6 http://220.192.10.132/hdp/HDP/centos7
HDP-UTILS-1.1.0.21 http://220.192.10.132/hdp/HDP-UTILS-1.1.0.21/repos/centos7
4.3 输入集群节点主机名和Ambari服务器上root用户的私钥
私钥文件位置:/root/.ssh/id_rsa
主机名推荐用正式域名(FQDN),例如:hdp-1.domain,不然他要出现警告信息
4.4 确认集群节点主机是否配置正确
4.5 选择要安装的服务
4.6 确认Master服务安装
4.7 确认Slave、Clients服务安装
4.8 定制化服务配置
需要设置Grafana 和 SmartSense的admin用户的密码