Ambari部署安装

Ambari部署安装手册

1·环境配置

本安装基于RHEL 7.3。

1.1关闭防火墙服务（所有节点）和selinux

关闭防火墙：

service iptables stop或systemctl stop firewalld

禁止开机启动：

chkconfig iptables off 或 systemctl disable firewalld

查看防火墙状态：

service iptables status 或firewall-cmd --state

 

关闭selinux ：

vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

 

1.2关闭THP（关闭透明大页Transparent Huge Pages）

THP:使用更大的内存页面（memory page size） 以适应越来越大的系统内存，让操作系统可以支持现代硬件架构的大页面容量功能。

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

加入开启启动项。

vi /etc/rc.local

将上述两项加入进去。保存退出。

chmod 755 /etc/rc.local赋予执行额权限。

1.3 SSH免密码登录

在3个节点上（172.29.89.125，172.29.89.126，172.29.89.127）配置ssh免密码登录，要主节点可以免密码登录其他主机节点。

主节点为：172.29.89.125

1. 主节点运行ssh-keygen  -t rsa 一路回车，生成密钥对。

cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

1. 另外两台主机执行命令。新建隐藏目录

mkdir ~/.ssh

chmod 700 –R ~/.ssh

1. 拷贝文件到另外两台主机上。

scp ~/.ssh/authorized_keys  root@172.29.89.126:~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys  root@172.29.89.127:~/.ssh/authorized_keys

1. 在125主机上测试ssh 172.29.89.126与ssh 172.29.89.127不用输入密码是否可以登录。

ssh 172.29.89.126看是否成功登录

ssh 172.29.89.127看是否成功登录

 

注：一般失败的原因：

1. 缺少了第2部，导致主节点没有权限将文件拷贝过去。
2. 集群中所有机器必须使用相同的用户名，（此处为root）

 

1.4 搭建本地http服务（主节点）

安装nginx服务，通知相关人员提服务单。

/bin/systemctl restart nginx.service

进入相关目录：cd  /u02/app/nginx/html

创建相关目录并将相关软件包复制到相关目录下

mkdir /u02/app/nginx/html/ambari

cp ambari-2.6.2.0-centos7.tar /u02/app/nginx/html/ambari/

cp HDP-2.6.5.0-centos7-rpm.tar /u02/app/nginx/html/ambari/

cp HDP-GPL-2.6.5.0-centos7-gpl.tar.gz /u02/app/nginx/html/ambari/

cp HDP-UTILS-1.1.0.22-centos7.tar.gz /u02/app/nginx/html/ambari/

解压相关文件

tar –xvf ambari-2.6.2.0-centos7.tar

tar –xvf HDP-2.6.5.0-centos7-rpm.tar

tar –zxvf HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

tar –zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz

配置相关nginx并开通相关端口防火墙如：80

启动nginx在相关浏览器输入ip访问。如果要目访问添加配置项 autoindex on

http://172.29.89.125

 

看是否可以访问nginx主页 或者

http://172.29.89.125/ambari  看是否可以访问刚才的文件。

或者curl http://172.29.89.125 看是否可以访问。wget http://172.29.89.125也可以

 

 

1.5 配置hosts域名映射。（所有节点）

修改/etc/sysconfig/network（所有机器）的机器名

vi /etc/sysconfig/network

编辑文件/etc/hosts文件，增加IP地址的映射并分发到各个节点。

vi /etc/hosts添加如下内容。

 

172.29.89.125  ZDELKSPAKUN01

172.29.89.126  ZDELKSPAKUN02

172.29.89.127  ZDELKSPAKUN03

如下图：

ping ZDELKSPAKUN01看是否正确解析ip跟计算机名。

1.6修改文件打开限制（所有机器）

vi /etc/security/limits.conf

添加如下：

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

1.7同步时钟（所有机器）

设置时间同步

1.8配置yum源仓库。（本地离线安装）

yum源仓库的配置在/etc/yum.repos.d/目录，yum会读取所有以repo结尾的源仓库信息来下载安装程序。这里我们将使用到的程序的源仓库添加进来。

制作本地源进入ambari文件存放目录生成本地仓库。

 

ambari.rep.  HDP.repo   HDP-UTILS.repo三个文件分别存在HDP的三个程序包里，复制出来即可。

cp  ambari.repo /etc/yum.repos.d/

cp  HDP.repo /etc/yum.repos.d/

cp  HDP-UTILS.repo /etc/yum.repos.d/

修改相关配置

vi /etc/yum.repos.d/ambari.repo

baseurl=http://172.29.89.125/ambari/ centos7/2.x/updates/2.6.1.0

gpgkey=http://172.29.89.125/ambari/centos7/2.x/updates/2.6.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

如下图：

vi /etc/yum.repos.d/HDP.repo配置如下图：

上面就创建好了主机上的文件，然后可以通过下面命令清楚一下yum的缓存就可以了

yum clean all

yum makecache

yum repolist

将创建好的文件拷贝到子节点（主服务器）

scp /etc/yum.repos.d/ambari.repo ZDELKSPAKUN02:/etc/yum.repos.d/ambari.repo  

scp /etc/yum.repos.d/hdp.repo ZDELKSPAKUN02:/etc/yum.repos.d/ambari.repo

scp /etc/yum.repos.d/ambari.repo ZDELKSPAKUN03:/etc/yum.repos.d/ambari.repo  

scp /etc/yum.repos.d/hdp.repo ZDELKSPAKUN03:/etc/yum.repos.d/ambari.repo

 

 

 

2.ambari与HDP安装部署

2.1安装JDK(所有节点)

需要提服务单，安装。

安装路径为：/usr/java/jdk1.8.0.121

配置:/etc/profile

vi /etc/profile

export JAVA_HOME=”/usr/java/jdk1.8.0_121”

export CLASSPATH=”$JAVA_HOME/lib”

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile使配置生效。

检查是否安装成功

java –version

 

2.2安装MySQL数据库。

提交工单安装MySQL数据库。

相关信息如下：user:  fid_ambari     password:   Iccc_uat_2017

ip:172.29.89.125

上传相关连接驱动：mysql-connector-java-5.0.2.jar

到/usr/share/java/mysql-connector-java-5.0.2.jar

登录MySQL：

mysql –ufid_ambari –p

创建相关ambari跟hive数据库跟权限。

2.3 安装ambari-server(主节点)

当配置好yum 源后开始yum 安装相关的程序。

执行：yum install ambari-server –y

 

安装好以后部署ambari-server与mysql的链接设置

网上下载mysql-connector-java.jar放到服务器上。

mkdir /usr/share/java

cp /root/mysql-connector-java.jar /usr/share/java/mysql-connector-java.jar

cp/root/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar

vi /etc/ambari-server/conf/ambari.properties

添加server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

 

 

ambari进行相关设置。

执行：ambari-server setup 进行相关设置。

将Ambari数据库脚本导入到数据库

WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 

ambari-server start

ambari-server reset

ambari-server setup

如果在安装的过程中出现了错误，又想重新安装，可以在ambari-server开启的情况下，执行下面的语句来移除已安装的包，然后再通过不同的情况选择上面两种方式的一种对ambari-server进行重置

python /usr/lib/ambari-agent/lib/ambari_agent/HostCleanup.py –silent

 

启动server

service ambari-server start

 

2.4使用ambari部署HDP

在浏览器中输入：172.29.89.125：8080访问ambari页面登录

用户：admin   密码：admin

安装向导

配置集群的名字为zdelkspark

选择版本并修改为本地源地址

安装配置

选择要安装的服务器和上传上面教程所拷贝出来的秘钥文件id_rsa

安装ambari的agent，同时检查系统问题

检查是否有不通过的服务。

启动服务就rerun check一下。

如果这里出了问题，请检查上面所有的步骤有没有遗漏和未设置的参数。同时在重新修改了配置以后，最好是重置ambari-server来重新进行安装

选择要安装的服务

选择分配服务

选择

配置其他参数。测试连接

如果不成功，执行如下命令，设置连接驱动路径：

ambari-server setup --jdbc-db=mysql --jdbc-driver=/path/to/mysql/mysql-connector-java.jar

本例为：ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.25.jar

在测试成功如下图：

设密码

查看检查是否有问题，无，开始安装。

具体错误分析日志，一个个解决。或到系统日志的输出查看如：/var/log下也可以。然后一个个解决直到安装成功。

根据提示修改一些错误，注意hive和oozie的数据库配置问题。如果最开始初始化ambari-server的时候使用的是默认配置，这里就最好使用new的方式，如果使用的是New MySQL Database ，这需要选择Existing MySQL / MariaDB Database ，然后测试一下是否能连接上

接下来就是安装了，如果通过了最好，没有通过需要排查日志，看具体哪个地方出错。如果实在处理不了一些问题，可以根据上面的错误处理进行重置安装。

 

 

 

2.5 安装完成

安装完成，再次登录ambari控制台检查服务。

 

3.安装错误提示解决。

 

3.1 openssl版本问题

centos使用Ambari搭建Hadoop集群

ambari --Confirm Hosts报错

 

Command start time 2018-08-13 10:32:23

bash: /var/lib/ambari-agent/bin/ambari-agent: Is a directory

('INFO 2018-08-10 11:03:19,614 NetUtil.py:70 - Connecting to https://node-1:8440/ca

ERROR 2018-08-10 11:03:19,618 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)

ERROR 2018-08-10 11:03:19,618 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions.

1.检查os openssl是否是最新版本，若不是，请更新。

2.若不行，修改/etc/python/cert-verification.cfg配置文件

verify=disable

 修改/etc/ambari-agent/conf/ambari-agent.ini，在[security]添加下面内容

force_https_protocol=PROTOCOL_TLSv1_2

 重启ambari-agent 

ambari-agent restart

 

 

3.2  HDP包与ambari包不匹配问题。

保错提示信息如下：

Installing package hadoop_2_6_0_3_8-hdfs ('/usr/bin/yum -d 0 -e 0 -y install hadoop_2_6_0_3_8-hdfs') 2017-05-26 17:07:30,977 - Execution of '/usr/bin/yum -d 0 -e 0 -y install hadoop_2_6_0_3_8-hdfs' returned 1. Error: Package: hadoop_2_6_0_3_8-hdfs-2.7.3.2.6.0.3-8.x86_64 (HDP-2.6) Requires: libtirpc-devel You could try using --skip-broken to work around the problem You could try running: rpm -Va --nofiles --nodigest 2017-05-26 17:07:30,977 - Failed to install package hadoop_2_6_0_3_8-hdfs. Executing '/usr/bin/yum clean metadata' 2017-05-26 17:07:31,544 - Retrying to install package hadoop_2_6_0_3_8-hdfs after 30 seconds

 

解决方法：下载libtirpc安装包在服务器上安装libtirpc-0.2.1-13.el6.x86_64.rpm 以及libtirpc-devel-0.2.1-13.el6.x86_64.rpm及其相关依赖包

命令yum install  -y –downloadonly  --downloaddir=/home  libtirpc可下载libtirpc的相关安装包与依赖包到/home目录下。

3.3 ambari与hadoop集群分开不同主机安装

因为spark与ambari的端口冲突问题，建议ambari单独一台主机安装。

两者都占用8080端口

3.4  MySQL主机的随机端口限制问题

因为hadoop集群的应用较多，端口比较散乱，所以建议系统随机端口做一下限制。防止其他应用的连接占用端口。

vi /etc/sysctl.conf

net.ipv4.ip_local_port_range = 20000 45400

sysctl -p /etc/sysctl.conf   使更改生效

或者临时生效

echo 46000 50000 > /proc/sys/net/ipv4/ip_local_port_range

或 sysctl -w net.ipv4.ip_local_port_range="20000 45400"

3.5 重启节点，heartbeatlost

当重启节点发现在ambari页面各个服务为黄色叹号是，服务不可启动，做如下炒作。

关闭主节点ambari服务，重启故障节点的ambaria客户端

主节点：ambari-server stop

故障节点：ambari-agent restart

主节点：ambari-server start

等1到2分钟去页面看是否故障解决。如果没有，去相关的故障节点的日志目录查看ambari-agent的日志，分析相关问题。解决。

cd /var/log/agent-agent下查看相关日志进行解决。

 

例如：如果openssl问题查看是否过期，是否需升级，修改相关配置。

如果IP问题，修改相关配置解析。如：vi /etc/hosts文件进行修改。

 

3.6  客户端访问主机地址无法解析，访问不了，

网页提示：无法访问此网站，找不到zdelkspakun01的服务器DNS地址、

可以将网页上端的主机换成IP如下：

zdelkspakun01:50070/jmx改成：172.29.89.125:50070/jmx再次访问即可。或者联想管理员修改DNS地址。或修改c:\windows\system32\drivers\etc下的hosts

添加

172.29.89.125  zdelkspakun01

172.29.89.126  zdelkspakun02

172.29.89.127  zdelkspakun03

 

3.7 ambari端口与其他冲突修改端口

vi  /etc/ambari-server/conf/ambari.properties

添加

client.api.port=8080

然后重启ambari-server restart

1. 卸载HDP集群。

卸载HDP所有节点执行

python /usr/lib/ambari-agent/lib/ambari_agent/HostCleanup.py –silent

.删除ambari

所有节点执行：yum remove ambari-*     (会删除ambari-agent和ambari-server)

删除数据：（所有节点）

rm –rf /usr/hdp

rm –rf /tmp/*

rm –rf /usr/lib/ambari-server

rm –rf /etc/ambari-agent

rm –rf /var/log/ambari-server

rm –rf /var/lib/ambari-server

 

删除数据库信息。进MySQL

drop database ambari;

删除安装包hdp-select

yum remove hdp* (yum remove 可删除其所依赖的RPM包)

 

清理缓存：（所有节点）

yum clean all

yum clean packages

检查yum是否完全清除

yum list installed |grep HDP

yum list installed |grep ranger _2_2_6

重启所有节点。

reboot