2019/02/26服务器Ambari-2.7.3环境搭建

最新推荐文章于 2022-10-04 13:31:19 发布

Chen_20190323

最新推荐文章于 2022-10-04 13:31:19 发布

阅读量614

点赞数

分类专栏：服务器文章标签： Ambari 服务器

本文链接：https://blog.csdn.net/weixin_42644918/article/details/88757436

版权

服务器专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Ambari-2.7.3环境搭建

工作环境：CentOS7
工作时间：2019/2/26-2019/3/2
安装路径：/opt/ambari/
Ambari简介：The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by its RESTful APIs.
优势：
1.只需要在集群中一台服务器上安装一个Ambari，适合大量集群环境搭建；
2.一键安装Apache-Hadoop生态的开源软件；
3.内涵了ssh-key的解决方案，如果集群太大，手动设置ssh-key会非常麻烦。
劣势：
1.编译的过程非常痛苦，下载速度非常感人，我装了3次，花了30多个小时才编译成功；
2.在设置Spark等软件时，不太清楚这些配置文件的位置。由于一些开源插件，例如SpatialHadoop等需要Hadoop等配置文件和安装路径。也并不针对Ambari安装的Hadoop提供配置指导。
因此Ambari还需要更多摸索和尝试。

流程：

参考官方网站流程：
https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.7.3

1.首先需要下载并安装好Apache Maven，具体环境参考：

https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Development

2.在官网上找到自己的下载地址，按顺序执行以下命令：

# wget http://www.apache.org/dist/ambari/ambari-2.7.3/apache-ambari-2.7.3-src.tar.gz
# tar xfvz apache-ambari-2.7.3-src.tar.gz
# cd apache-ambari-2.7.3-src
# mvn versions:set -DnewVersion=2.7.3.0.0
 
# pushd ambari-metrics
# mvn versions:set -DnewVersion=2.7.3.0.0
# popd

3.下载所需文件并编译：

# mvn -B clean install jdeb:jdeb -DnewVersion=2.7.3.0.0 -DbuildNumber=4295bb 16c439cbc8fb0e7362f19768dde1477868 -DskipTests -Dpython.ver="python >= 2.6"

说明：这一步需要大概7-10个小时（以50kb-100kb的速度下载约1G的文件），可以先自己下载之后存放于服务器端，修改xml，将下载地址改为服务器地址。具体方法可以在网上查找到。
注：如果中途失败，需要重新下载，重新编译需要在最后添加：-Drat.skip=true

# yum install ambari-server*.rpm    #This should also pull in postgres packages as well.
ambari-server setup

中间需要设置一些参数，如果不选择重新下载java则需要输入java的环境位置（cat /etc/profile复制即可）
随后可以启动主节点上的服务

# ambari-server start

这一步可能会出现很多错误。

端口被占用
查看端口是否被占用：
```
# netstat -tnlp | grep java
```
Ambari默认使用8080的端口，因此在必要情况之下需要修改端口号：
```
 # vi /etc/ambari-server/conf/ambari.properties
```
添加：client.api.port=<端口号>；（如client.api.port=8888）
需要注意，有可能存在ipv6无法访问的问题，需要警用ipv6
查看端口位置：
```
# netstat -tnlp | grep java.
```
如果端口在tcp上，就是正确的；如果是在tcp6，则需要禁用ipv6：
在 /etc/sysctl.conf 中加入
```
net.ipv6.conf.all.disable_ipv6=1
net.ipv6.conf.default.disable_ipv6=1
```
注：我没有修改，也能访问

4. 配置完成之后，即可登陆web端，访问：http://{IP}:8888设置新的cluster_worker

在这里插入图片描述
点NEXT之后一直卡着不动，需要修改以下路径的文件：
/var/lib/ambari-server/resources/stacks/HDP/3.2/metainfo.xml
将false中的false改为active
寻找问题的思路是：查看网页中的错误，针对错误结合log文件发现问题的根源。

在这里插入图片描述
这里有两种方式添加host，第一种方法需要复制~/.ssh/id_rsa的秘钥粘贴到对话框中。第二种方法是手动添加agent。
这里我选择自己添加agent。首先，将如下路径中的agent安装文件拷贝到每个服务器中：
文件路径：
/opt/ambari/apache-ambari-2.7.3-src/ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/
拷贝：

# scp ambari-agent-2.7.3.0-0.x86_64.rpm {IP_worker}:/

随后在每个host（服务器）中安装（位置在 / 下，cd /）:

yum install ambari-agent*.rpm

修改，如下文件，将hostname=localhost改为hostname=server47

# vi /etc/ambari-agent/conf/ambari-agent.ini

随后依次启动所有服务器中的ambari-agent

ambari-agent start

成功之后可以点击下一步。
在这里插入图片描述
其中sever48无法加入
发现server48的openssl版本不对，尝试删除：

# yum remove xmlsec1-openssl-1.2.20-7.el7_4.x86_64

尝试删除cd /var/lib/pgsql中的更新文件之后重装ambari-agent，尝试多次各种方法，但是都没有用。
暂时放弃server48
更新：发现存在一个名为www.registry.it的FQDN，查看/etc/hosts发现它会对识别FQDN产生干扰。于是将它注释掉，卸载ambari-agent后重新安装即可找到。