CentOS安装HDP集群-3 使用Ambari安装HDP集群

最新推荐文章于 2023-11-10 17:30:03 发布
最新推荐文章于 2023-11-10 17:30:03 发布
阅读量609 收藏 1
点赞数
分类专栏： install hadoop 文章标签： HDP CentOS安装HDP Ambari
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36939535/article/details/85324998
版权

在上篇文章中，已经介绍并安装了Ambari服务器，给个链接：https://blog.csdn.net/weixin_36939535/article/details/85275596
这里就用它来部署HDP集群，体验一下 Ambari 的方便之处。

1. 启动Ambari集群安装向导

在Ambari Welcome页面中，选择Launch Install Wizard。
在这里插入图片描述

2. 给集群起个名字

在Name your cluster中输入你想要的集群名称，然后点击Next进入下一步；
在这里插入图片描述

3. 选择版本

选择你要的版本，因为源文件较大，建议使用本地源，关于本地源的配置，请参考我的另一篇文章：https://blog.csdn.net/weixin_36939535/article/details/85329684

选择HDP版本

在这里插入图片描述
选择本地源，移除其它无关的版本，把地址配置正确后，下一步。
在这里插入图片描述

4. 安装设置

这里需要指定当时在 Ambari Server 机器生成的私钥（ssh-keygen 生成的，公钥已经拷贝到 Ambari Agent 的机器），可以上传也可以粘贴上去。
具体位置：

在这里插入图片描述

输入主机名列表，每行一个。或者如图用范围指定。把ssh私钥配置好。
另外不要选择“Perform manual registration on hosts and do not use SSH“。因为我们需要 Ambari Server 自动去安装 Ambari Agent。
确认一下主机，ssh的私钥，以及用户和端口。
在这里插入图片描述
所有都书写完毕后，点击Register and Confirm进入下一步。

弹窗确认主机是否正确，点OK。
在这里插入图片描述

这里有个警告，说是主机名不是有效的FQDN，即不是一个完整的域名，这里不理它，点OK。
在这里插入图片描述

5. 确认主机

Ambari Server 会自动安装 Ambari Agent 到刚才指定的机器列表。安装完成后，Agent 会向 Ambari Server 注册。成功注册后，就可以继续 Next 到下一步。
在这里插入图片描述

这里第一次安装注册时出现错误：
在这里插入图片描述

查看日志： EOF occurred in violation of protocol
提示检查openssl

==========================
Running setup agent script...
==========================

Command start time 2018-12-29 19:22:57
("INFO 2018-12-29 19:22:58,959 HeartbeatHandlers.py:116 - Stop event received
INFO 2018-12-29 19:22:58,959 NetUtil.py:130 - Stop event received
INFO 2018-12-29 19:22:58,960 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:22:58,960 ExitHelper.py:70 - Cleanup finished, exiting with code:0
INFO 2018-12-29 19:23:01,511 main.py:285 - Agent died gracefully, exiting.
INFO 2018-12-29 19:23:01,512 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:23:02,047 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,049 DataCleaner.py:39 - Data cleanup thread started
INFO 2018-12-29 19:23:02,051 hostname.py:67 - agent:hostname_script configuration not defined thus read hostname 'zgss-1' using socket.getfqdn().
INFO 2018-12-29 19:23:02,052 DataCleaner.py:120 - Data cleanup started
INFO 2018-12-29 19:23:02,053 DataCleaner.py:122 - Data cleanup finished
INFO 2018-12-29 19:23:02,091 PingPortListener.py:50 - Ping port listener started on port: 8670
INFO 2018-12-29 19:23:02,096 main.py:439 - Connecting to Ambari server at https://zgss-1:8440 (192.168.201.61)
INFO 2018-12-29 19:23:02,097 NetUtil.py:70 - Connecting to https://zgss-1:8440/ca
ERROR 2018-12-29 19:23:02,099 NetUtil.py:96 - [Errno 8] _ssl.c:492: EOF occurred in violation of protocol
ERROR 2018-12-29 19:23:02,099 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. 
Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.
WARNING 2018-12-29 19:23:02,100 NetUtil.py:124 - Server at https://zgss-1:8440 is not reachable, sleeping for 10 seconds...
", None)
("INFO 2018-12-29 19:22:58,959 HeartbeatHandlers.py:116 - Stop event received
INFO 2018-12-29 19:22:58,959 NetUtil.py:130 - Stop event received
INFO 2018-12-29 19:22:58,960 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:22:58,960 ExitHelper.py:70 - Cleanup finished, exiting with code:0
INFO 2018-12-29 19:23:01,511 main.py:285 - Agent died gracefully, exiting.
INFO 2018-12-29 19:23:01,512 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:23:02,047 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,049 DataCleaner.py:39 - Data cleanup thread started
INFO 2018-12-29 19:23:02,051 hostname.py:67 - agent:hostname_script configuration not defined thus read hostname 'zgss-1' using socket.getfqdn().
INFO 2018-12-29 19:23:02,052 DataCleaner.py:120 - Data cleanup started
INFO 2018-12-29 19:23:02,053 DataCleaner.py:122 - Data cleanup finished
INFO 2018-12-29 19:23:02,091 PingPortListener.py:50 - Ping port listener started on port: 8670
INFO 2018-12-29 19:23:02,096 main.py:439 - Connecting to Ambari server at https://zgss-1:8440 (192.168.201.61)
INFO 2018-12-29 19:23:02,097 NetUtil.py:70 - Connecting to https://zgss-1:8440/ca
ERROR 2018-12-29 19:23:02,099 NetUtil.py:96 - [Errno 8] _ssl.c:492: EOF occurred in violation of protocol
ERROR 2018-12-29 19:23:02,099 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. 
Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.
WARNING 2018-12-29 19:23:02,100 NetUtil.py:124 - Server at https://zgss-1:8440 is not reachable, sleeping for 10 seconds...
", None)

Connection to zgss-1 closed.
SSH command execution finished
host=zgss-1, exitcode=0
Command end time 2018-12-29 19:23:04

Registering with the server...
Registration with the server failed.

这个问题找了好久，尝试了一些网络上的方法：
比如：
修改/etc/ambari-agent/conf/ambari-agent.ini添加
force_https_protocol=PROTOCOL_TLSv1_2
尝试无效。

比如：
修改/etc/python/cert-verification.cfg添加
verify=disable
尝试无效。

比如：
更新升级OpenSSL库，这个不适用我这里，如果你用命令：rpm -qa | grep openssl查出来你的openssl版本是openssl-1.0.1e-15.x86_64 (1.0.1 build 15)的话，你可以尝试一下这个方法，在官网上有介绍。

甚至还有说要卸载重装的。

最后还是自己分析，经过一系列的探索，发现可能是自己的python低版本导致的，当前版本是系统自带python2.6.6的，于是着手开始升级python，升级过程就不说了，网上很多，给个我参考的升级python的教程地址：https://www.cnblogs.com/94YY/p/6224441.html
升级后版本python2.7.13
在这里插入图片描述

========================
python升级完成后，回到页面点重试，终于成功了。如下图：
在这里插入图片描述

另外，这里注册成功后，会进行一些检查，如果你前面有些准备工作没做的话，这里都会暴露出来的。最好都进行处理后，在到下一步。我这里没有什么异常。
在这里插入图片描述

6. 选择服务

根据需要选择要在群集上安装的服务。选好后，下一步。

在这里插入图片描述

7. 各个服务Master配置

配置Master主机节点，不会配置的就默认，下一步。
在这里插入图片描述

  1. 配置服务的Slaves和Clients

根据需求设置
在这里插入图片描述

9. 定制服务

这里向导会尝试为每个选项设置合理的默认值，比如配置目录、密码等都需要设置确认一下。
这里必须为Hive和Oozie服务提供数据库密码，Knox的主密钥，Grafana数据库密码。
在这里插入图片描述

Hive那里，Hive我们都知道是需要配置元数据库的，所以我们这里还要设置：
使用我们之前的MySql数据库，创建hive数据库，指定ambari-server 的MySql的连接，如下：

#登陆数据库
mysql -uroot -p
mysql> create database hive;
##退出数据库后，执行
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

在这里插入图片描述

返回页面，选择Existing MySQL / MariaDB Database表示使用已经存在的Mysql或者MariaDB。之后输入hive数据库名，这里我们需要创建hive数据库,写用户名密码。
之后点Test Connection，连接成功。
在这里插入图片描述

然后其它都确认后，下一步。

10. 显示配置信息

没问题就下一步。
在这里插入图片描述

下一步直接开始安装，这里可能会有各种问题，每个人都不一样，这里就不讲了，仔细看日志，总会有些蛛丝马迹，做相对应的处理，一定会安装成功的。
本人会另写一篇博客记录一下我这里安装遇到的问题。

蜗牛@漫步
关注
专栏目录
centos8 Ambari-2.7.6.3+HDP-3.3.1离线安装详细教程（附安装包）
QYmufeng的博客
01-16 4427
centos8离线安装Ambari-2.7.6.3+HDP-3.3.1详细教程（附安装包）
Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群
Lochy的博客
06-22 7067
Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群
CentOS7 利用 Ambari-2.7.5 搭建 HDP-3.1.5 集群 (超级详细步骤，含安装包下载地址)
最新发布
Mr.L-OAM的博客
11-10 870
Ambari-2.7.5 HDP-3.1.5 CentOS7利用 Ambari-2.7.5 搭建 HDP-3.1.5 集群 Ambari-2.7.5 安装包下载 HDP-3.1.5 安装包下载 Ambari-server 服务部署 HDP 集群部署 本地离线部署HDP-3.1.5
基于centos7系统下HDP搭建
卡奥斯道的博客
09-07 1115
一、基本配置 1.修改ip vi /etc/sysconfig/network-scrpit/ifcfg-eno16777736 三台机器base01、base02、base03，对应的ip地址分别为 base01 192.168.43.131 base02 192.168.43.132 base03 192.168.43.133 2.重启网络服务 systemctl re
CentOS7部署HDP3.1.0.0
weixin_30650859的博客
09-08 1059
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。 主机配置规划 主机名 I...
CentOS7.4+HDP+Ambari+consul+Elasticsearch安装部署文档.rar
07-12
CentOS7.4+HDP+Ambari+consul+Elasticsearch 安装部署文档
Centos7搭建Ambari-2.7.3+HDP-3.1.0集群
m0_51557895的博客
05-25 555
Centos7搭建Ambari-2.7.3+HDP-3.1.0集群 一.目的 为了实现公司项目对海量业务数据、文件进行存储，系统间共享，并且达到以下几点要求，可行方案hadoop集群。 数据安全 需要实现数据冗余，避免数据的单点故障。 可线性扩展 当数据增长到TB，甚至PB以上时，存储方案需要支持可线性扩展。 存储高可用 某个存储服务宕掉时，不影响整体存储方案的可用 性能 性能达到应用要求。 二. 版本选择 目前而言，不收费的Hadoop版本主要有三个(均是国外厂商)，分别是： Apache(最原始的版
VMware下centos7安装ambari并搭建hdp集群
w2115114903的博客
05-19 1079
虚拟机安装centos7教程：https://my.oschina.net/u/3964535/blog/2001945 安装环境：centos7 集群环境：（第一次安装，建议使用两台机器即可，成功后根据需要配置多台） 机器名 IP 备注 ambari.server.com 192.168.66.135 主节点 centos 7（2G + 40G） ambari.agent.com 192.168.66.136 子节点 centos
hdp3.2.1.0-001(Ambari2.7.6+hadoop3.2.4)arm版本
09-14
集成了hadoop3.2.4，hive3.1.3, spark3.2.1，kyuubi，ozone等组件，完全基于Apache版本使用Ambari2.7.6进行集成，支持centos系的国产操作系统，例如红旗等。同时支持x86和aarch64两种cpu架构，满足国产化改造的需要...
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
04-13
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
CentOS7局域网下安装离线Ambari
01-06
CentOS7局域网下安装离线Ambari CentOS7局域网下安装离线Ambari CentOS7局域网下安装离线Ambari CentOS7局域网下安装离线Ambari
HDP-UTILS-1.1.0.22-centos7.tar.gz
10-25
描述 "离线安装ambari-2.7.4，之 HDP-UTILS-1.1.0.22-centos7.tar.gz" 暗示了这个压缩包是Ambari安装过程中的一个重要组成部分。Ambari是一款由Apache开发的管理工具，用于简化Hadoop集群的部署、管理和监控。版本号...
Ambari2.7.6+HDP3.3.1 离线安装网盘下载地址
11-05
支持x86_64和ARM64(aarch64)
Centos7.5服务器安装HDP的坑
陆山右的技术博客
12-08 2664
制作本地源 cd /root/ambari/centos/ambari.repo 配置网络源 配置网络源 要开启http服务 python -m SimpleHTTPServer & 备注：&为开启后台进程 netstat -nltp|grep 8000 yum list | grep mariadb systemctl status mariadb ...
Ambari安装相关问题解决
sccdpxz2的博客
06-20 2091
离线安装ambari 地址：https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86595945 1、不能启动服务“REASON: Server not yet listening on http port 8080 after 50 seconds. Exiting.” 修改配置文件/etc/ambari-server/conf/ambari.properties server.jdbc.hostname=hadoop01 server.
Ambari学习3_Ambari Registration with the server failed 错误解决
wang_zhenwei的博客
11-08 1万+
按照网上的教程安装配置Ambari，进行到第三步时，出现错误： 点击红色“Failed”，查看详细错误： ========================== Creating target directory... ========================== Command start time 2016-11-09 16:24:42 Connection to sla
Ambari学习13_安装ambari的时候遇到的ambari和hadoop问题集
热门推荐
wang_zhenwei的博客
11-14 3万+
5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for mo
Ambari CentOS集群搭建从入门到入土之换用Ubuntu-16
oneslide
12-06 814
配置本地源后，出现如下日志信息： 查看日志： ========================== Running setup agent script... ========================== Command start time 2018-12-05 09:01:50 ("INFO 2018-12-05 09:01:56,341 HeartbeatHandlers.py:...
CentOS安装HDP集群 遇到的问题记录
蜗牛小将
01-03 1万+
这里主要记录一下安装hdp集群时遇到的问题。 看过我博客的可能会知道我之前装的是Ambari2.6.2，HDP2.6.5，安装到这里出现各种问题，后来领导说版本低，自己就直接重装并提高了版本，安装的是最新版Ambari2.7.3和HDP3.1.0，系统CentOS7.2。 前面安装过程都差不多，就不说了，到这里依然有各种错误。这里就记录下遇到的错误。 错误1. ambari自动在我的/etc/yu...
离线安装HDP Hadoop集群：Ambari引导下的高效部署
本文档详细介绍了如何使用Ambari工具离线安装HDP-Hadoop集群的过程。Ambari是由Apache开源社区维护的一个用于配置、监控和管理Hadoop集群的管理框架，其目标是简化Hadoop的部署和维护工作。Ambari支持多种Hadoop组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蜗牛@漫步

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值