大数据分析学习第十六课自建云服务器集群使用Ambari创建配置大数据集群和常用组件（二）

最新推荐文章于 2024-07-16 15:47:46 发布

猫头鹰数据分析

最新推荐文章于 2024-07-16 15:47:46 发布

阅读量430

点赞数 1

分类专栏：大数据文章标签： ambari 大数据 hadoop hive spark

本文链接：https://blog.csdn.net/suwei825/article/details/119577210

版权

大数据专栏收录该内容

32 篇文章 7 订阅

订阅专栏

上节课我们介绍了怎么在离线环境下配置安装ambari和hdp，并成功启动了ambari服务

这节课我们就在安装好的Ambari平台上配置集群和服务

我们登录Ambari的管理后台，点击【LAUNCH INSTALL WIZARD】

我们输入一个集群名称

选择版本,这里我们离线宝是3.1，所以就选3.1

因为我们是离线安装，这里的库我们全部指定tt1服务器的资源，操作系统要选redhat7

上面填写的三处地址，其实就是我们配置的离线yum源的地址

HDP-3.1： http://xx.xx.xx.xx:8081/hdp/HDP/centos7/3.1.5.0-152/
HDP-3.1-GPL: http://xx.xx.xx.xx:8081/hdp/HDP-GPL-3.1.5.0/HDP-GPL/centos7/3.1.5.0-152/
HDP-UTILS-1.1.0.22: http://xx.xx.xx.xx:8081/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22

我们填写后，可以把除了redhat7之外的操作系统的配置都移除，然后点下一步

下一步我们配置节点和私匙，私匙就是上节课备份的tt1主机的私匙

填好后我们点击注册和配置按钮，可以看到tt1这台主机安装失败，原因是他是ambari server master主机，没有安装agent，我们在tt1上也安装一下agent服务，然后retry就可以注册成功了

我们可以点击 installing看下ss1的安装过程日志

如果遇到注册失败，我们可能需要修改下3台主机的hosts文件,把第一，第二行加上相应的hostname

下面贴出ss1的hosts文件

vi /etc/hosts

当看到下面的提示，就表示成功了，我们点下一步

接下来就到了选择HDFS版本和需要安装的服务了

以下是我选的服务，都是常用的YARN，Hive，Tiz，kafka等

我们点下一步的时候会提示一些，必选服务，我们可以接受，也可以取消自己去选

激动人心的时刻，我们根据主机情况，选择服务安装的主机位置

这里配置DN，NM，RS等位置

这里就到了配置账号了，我们配置复杂一点的8位数字字母加特殊符号

这里是配置数据库的，连接的就是上篇文章在tt1安装的mysql，需要用到数据库的都要配置，填好后可以测试连接是否成功

如果连接失败，我们在master上执行下配置驱动的命令

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

然后继续配置

ranger服务需要创建数据库，用户

CREATE DATABASE ranger;
use ranger; 
CREATE USER 'admin'@'%' IDENTIFIED BY 'rootty,'; 
GRANT ALL PRIVILEGES ON *.* TO 'admin'@'%'; 
CREATE USER 'admin'@'localhost' IDENTIFIED BY 'rootty,'; 
GRANT ALL PRIVILEGES ON *.* TO 'admin'@'localhost'; 
CREATE USER 'admin'@'tt1' IDENTIFIED BY 'rootty,'; 
GRANT ALL PRIVILEGES ON *.* TO 'admin'@'tt1';

rangerkms服务创建数据库

CREATE DATABASE rangerkms;
use rangerkms;

配置完数据库就到了服务目录配置

这里基本默认就可以了，下面是hive

Hbase

zookeeper

atlas

kafka

再下一步就到了账号配置，我们选上下面三项

HDFS配置

YARN配置

右上角的警告可以按提示处理

最后，系统会输出一份服务清单，可以帮我们管理服务安装的位置

我们点击打印使用虚拟打印生成pdf文档

打印好后，我们点击部署按钮，就开始在3台服务器安装服务了

下面提示，ss1和ss2安装失败了，失败原因主要是超时造成的，因为3台主机不在一个内网，走外网速度会比较慢，只有1M带宽

解决超时报错

1、增大超时时间：

修改配置文件:

vim /etc/ambari-server/conf/ambari.properties（此错误为ambari-server ssh连接ambari-agent安装超时）

agent.package.install.task.timeout=1800更改为96000（时间可根据网络情况继续调整）

2、修改retry重试次数：

vi /etc/yum.conf

installonly_limit=5这个默认是5，我们霸气的加2个0吧

修改retry次数为500的这个配置，需要在agent端ss1，ss2也修改一下

修改完上面2项，我们把服务器都重启，然后重新配置下安装过程

终于不报大红色了，只是有一些警告

最终输出安装信息

我们点击完成，就到了管理主界面了

补充一个超时问题

Python script has been killed due to timeout after waiting 1800 secs

在确认主机时出现错误，我们查看文件：tail /var/log/ambari-agent/ambari-agent.log

INFO 2020-06-20 11:33:22,053 hostname.py:67 - agent:hostname_script configuration not defined thus read hostname 'ss1' using socket.getfqdn().
ERROR 2020-06-20 11:33:22,053 main.py:269 - Ambari agent machine hostname (ss1) does not match expected ambari server hostname (ss1). Aborting registration. Please check hostname, hostname -f and /etc/hosts file to confirm your hostname is setup correctly

解决方案：

在所有的节点上，修改agent配置

1、vi /etc/ambari-agent/conf/ambari-agent.ini

在 [security] 下添加

force_https_protocol=PROTOCOL_TLSv1_2

2、修改python验证 vi /etc/python/cert-verification.cfg

[https]

verify=disable

完成以上2项修改，在所有节点执行重启 systemctl restart ambari-agent

总结
感谢能看到这里的朋友😉

本次的分享就到这里，猫头鹰数据致力于为大家分享技术干货😎

如果以上过程中出现了任何的纰漏错误，烦请大佬们指正😅