CentOS安装HDP集群-3 使用Ambari安装HDP集群

最新推荐文章于 2023-11-10 17:30:03 发布
最新推荐文章于 2023-11-10 17:30:03 发布
阅读量611 收藏 1
点赞数
分类专栏： install hadoop 文章标签： HDP CentOS安装HDP Ambari
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36939535/article/details/85324998
版权

在上篇文章中，已经介绍并安装了Ambari服务器，给个链接：https://blog.csdn.net/weixin_36939535/article/details/85275596
这里就用它来部署HDP集群，体验一下 Ambari 的方便之处。

1. 启动Ambari集群安装向导

在Ambari Welcome页面中，选择Launch Install Wizard。
在这里插入图片描述

2. 给集群起个名字

在Name your cluster中输入你想要的集群名称，然后点击Next进入下一步；
在这里插入图片描述

3. 选择版本

选择你要的版本，因为源文件较大，建议使用本地源，关于本地源的配置，请参考我的另一篇文章：https://blog.csdn.net/weixin_36939535/article/details/85329684

选择HDP版本

在这里插入图片描述
选择本地源，移除其它无关的版本，把地址配置正确后，下一步。
在这里插入图片描述

4. 安装设置

这里需要指定当时在 Ambari Server 机器生成的私钥（ssh-keygen 生成的，公钥已经拷贝到 Ambari Agent 的机器），可以上传也可以粘贴上去。
具体位置：

在这里插入图片描述

输入主机名列表，每行一个。或者如图用范围指定。把ssh私钥配置好。
另外不要选择“Perform manual registration on hosts and do not use SSH“。因为我们需要 Ambari Server 自动去安装 Ambari Agent。
确认一下主机，ssh的私钥，以及用户和端口。
在这里插入图片描述
所有都书写完毕后，点击Register and Confirm进入下一步。

弹窗确认主机是否正确，点OK。
在这里插入图片描述

这里有个警告，说是主机名不是有效的FQDN，即不是一个完整的域名，这里不理它，点OK。
在这里插入图片描述

5. 确认主机

Ambari Server 会自动安装 Ambari Agent 到刚才指定的机器列表。安装完成后，Agent 会向 Ambari Server 注册。成功注册后，就可以继续 Next 到下一步。
在这里插入图片描述

这里第一次安装注册时出现错误：
在这里插入图片描述

查看日志： EOF occurred in violation of protocol
提示检查openssl

==========================
Running setup agent script...
==========================

Command start time 2018-12-29 19:22:57
("INFO 2018-12-29 19:22:58,959 HeartbeatHandlers.py:116 - Stop event received
INFO 2018-12-29 19:22:58,959 NetUtil.py:130 - Stop event received
INFO 2018-12-29 19:22:58,960 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:22:58,960 ExitHelper.py:70 - Cleanup finished, exiting with code:0
INFO 2018-12-29 19:23:01,511 main.py:285 - Agent died gracefully, exiting.
INFO 2018-12-29 19:23:01,512 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:23:02,047 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,049 DataCleaner.py:39 - Data cleanup thread started
INFO 2018-12-29 19:23:02,051 hostname.py:67 - agent:hostname_script configuration not defined thus read hostname 'zgss-1' using socket.getfqdn().
INFO 2018-12-29 19:23:02,052 DataCleaner.py:120 - Data cleanup started
INFO 2018-12-29 19:23:02,053 DataCleaner.py:122 - Data cleanup finished
INFO 2018-12-29 19:23:02,091 PingPortListener.py:50 - Ping port listener started on port: 8670
INFO 2018-12-29 19:23:02,096 main.py:439 - Connecting to Ambari server at https://zgss-1:8440 (192.168.201.61)
INFO 2018-12-29 19:23:02,097 NetUtil.py:70 - Connecting to https://zgss-1:8440/ca
ERROR 2018-12-29 19:23:02,099 NetUtil.py:96 - [Errno 8] _ssl.c:492: EOF occurred in violation of protocol
ERROR 2018-12-29 19:23:02,099 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. 
Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.
WARNING 2018-12-29 19:23:02,100 NetUtil.py:124 - Server at https://zgss-1:8440 is not reachable, sleeping for 10 seconds...
", None)
("INFO 2018-12-29 19:22:58,959 HeartbeatHandlers.py:116 - Stop event received
INFO 2018-12-29 19:22:58,959 NetUtil.py:130 - Stop event received
INFO 2018-12-29 19:22:58,960 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:22:58,960 ExitHelper.py:70 - Cleanup finished, exiting with code:0
INFO 2018-12-29 19:23:01,511 main.py:285 - Agent died gracefully, exiting.
INFO 2018-12-29 19:23:01,512 ExitHelper.py:56 - Performing cleanup before exiting...
INFO 2018-12-29 19:23:02,047 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,048 main.py:147 - loglevel=logging.INFO
INFO 2018-12-29 19:23:02,049 DataCleaner.py:39 - Data cleanup thread started
INFO 2018-12-29 19:23:02,051 hostname.py:67 - agent:hostname_script configuration not defined thus read hostname 'zgss-1' using socket.getfqdn().
INFO 2018-12-29 19:23:02,052 DataCleaner.py:120 - Data cleanup started
INFO 2018-12-29 19:23:02,053 DataCleaner.py:122 - Data cleanup finished
INFO 2018-12-29 19:23:02,091 PingPortListener.py:50 - Ping port listener started on port: 8670
INFO 2018-12-29 19:23:02,096 main.py:439 - Connecting to Ambari server at https://zgss-1:8440 (192.168.201.61)
INFO 2018-12-29 19:23:02,097 NetUtil.py:70 - Connecting to https://zgss-1:8440/ca
ERROR 2018-12-29 19:23:02,099 NetUtil.py:96 - [Errno 8] _ssl.c:492: EOF occurred in violation of protocol
ERROR 2018-12-29 19:23:02,099 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. 
Refer to: https://bugzilla.redhat.com/show_bug.cgi?id=1022468 for more details.
WARNING 2018-12-29 19:23:02,100 NetUtil.py:124 - Server at https://zgss-1:8440 is not reachable, sleeping for 10 seconds...
", None)

Connection to zgss-1 closed.
SSH command execution finished
host=zgss-1, exitcode=0
Command end time 2018-12-29 19:23:04

Registering with the server...
Registration with the server failed.

这个问题找了好久，尝试了一些网络上的方法：
比如：
修改/etc/ambari-agent/conf/ambari-agent.ini添加
force_https_protocol=PROTOCOL_TLSv1_2
尝试无效。

比如：
修改/etc/python/cert-verification.cfg添加
verify=disable
尝试无效。

比如：
更新升级OpenSSL库，这个不适用我这里，如果你用命令：rpm -qa | grep openssl查出来你的openssl版本是openssl-1.0.1e-15.x86_64 (1.0.1 build 15)的话，你可以尝试一下这个方法，在官网上有介绍。

甚至还有说要卸载重装的。

最后还是自己分析，经过一系列的探索，发现可能是自己的python低版本导致的，当前版本是系统自带python2.6.6的，于是着手开始升级python，升级过程就不说了，网上很多，给个我参考的升级python的教程地址：https://www.cnblogs.com/94YY/p/6224441.html
升级后版本python2.7.13
在这里插入图片描述

========================
python升级完成后，回到页面点重试，终于成功了。如下图：
在这里插入图片描述

另外，这里注册成功后，会进行一些检查，如果你前面有些准备工作没做的话，这里都会暴露出来的。最好都进行处理后，在到下一步。我这里没有什么异常。
在这里插入图片描述

6. 选择服务

根据需要选择要在群集上安装的服务。选好后，下一步。

在这里插入图片描述

7. 各个服务Master配置

配置Master主机节点，不会配置的就默认，下一步。
在这里插入图片描述

  1. 配置服务的Slaves和Clients

根据需求设置
在这里插入图片描述

9. 定制服务

这里向导会尝试为每个选项设置合理的默认值，比如配置目录、密码等都需要设置确认一下。
这里必须为Hive和Oozie服务提供数据库密码，Knox的主密钥，Grafana数据库密码。
在这里插入图片描述

Hive那里，Hive我们都知道是需要配置元数据库的，所以我们这里还要设置：
使用我们之前的MySql数据库，创建hive数据库，指定ambari-server 的MySql的连接，如下：

#登陆数据库
mysql -uroot -p
mysql> create database hive;
##退出数据库后，执行
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

在这里插入图片描述

返回页面，选择Existing MySQL / MariaDB Database表示使用已经存在的Mysql或者MariaDB。之后输入hive数据库名，这里我们需要创建hive数据库,写用户名密码。
之后点Test Connection，连接成功。
在这里插入图片描述

然后其它都确认后，下一步。

10. 显示配置信息

没问题就下一步。
在这里插入图片描述

下一步直接开始安装，这里可能会有各种问题，每个人都不一样，这里就不讲了，仔细看日志，总会有些蛛丝马迹，做相对应的处理，一定会安装成功的。
本人会另写一篇博客记录一下我这里安装遇到的问题。

蜗牛@漫步
关注
专栏目录
centos8 Ambari-2.7.6.3+HDP-3.3.1离线安装详细教程（附安装包）
QYmufeng的博客
01-16 4446
centos8离线安装Ambari-2.7.6.3+HDP-3.3.1详细教程（附安装包）
Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群
Lochy的博客
06-22 7076
Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群
CentOS7 利用 Ambari-2.7.5 搭建 HDP-3.1.5 集群 (超级详细步骤，含安装包下载地址)
最新发布
Mr.L-OAM的博客
11-10 874
Ambari-2.7.5 HDP-3.1.5 CentOS7利用 Ambari-2.7.5 搭建 HDP-3.1.5 集群 Ambari-2.7.5 安装包下载 HDP-3.1.5 安装包下载 Ambari-server 服务部署 HDP 集群部署 本地离线部署HDP-3.1.5
基于centos7系统下HDP搭建
卡奥斯道的博客
09-07 1115
一、基本配置 1.修改ip vi /etc/sysconfig/network-scrpit/ifcfg-eno16777736 三台机器base01、base02、base03，对应的ip地址分别为 base01 192.168.43.131 base02 192.168.43.132 base03 192.168.43.133 2.重启网络服务 systemctl re
CentOS7部署HDP3.1.0.0
weixin_30650859的博客
09-08 1059
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理，简化了大数据平台的安装、使用难度。 主机配置规划 主机名 I...
CentOS7.4+HDP+Ambari+consul+Elasticsearch安装部署文档.rar
07-12
CentOS7.4+HDP+Ambari+consul+Elasticsearch 安装部署文档
hdp3.2.1.0-001(Ambari2.7.6+hadoop3.2.4)arm版本
09-14
集成了hadoop3.2.4，hive3.1.3, spark3.2.1，kyuubi，ozone等组件，完全基于Apache版本使用Ambari2.7.6进行集成，支持centos系的国产操作系统，例如红旗等。同时支持x86和aarch64两种cpu架构，满足国产化改造的需要...
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
04-13
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
HDP-UTILS-1.1.0.22-centos7.tar.gz
10-25
描述 "离线安装ambari-2.7.4，之 HDP-UTILS-1.1.0.22-centos7.tar.gz" 暗示了这个压缩包是Ambari安装过程中的一个重要组成部分。Ambari是一款由Apache开发的管理工具，用于简化Hadoop集群的部署、管理和监控。版本号...
Ambari2.7.6+HDP3.3.1 离线安装网盘下载地址
11-05
支持x86_64和ARM64(aarch64)
Centos7.5服务器安装HDP的坑
陆山右的技术博客
12-08 2668
制作本地源 cd /root/ambari/centos/ambari.repo 配置网络源 配置网络源 要开启http服务 python -m SimpleHTTPServer & 备注：&为开启后台进程 netstat -nltp|grep 8000 yum list | grep mariadb systemctl status mariadb ...
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）
小强签名设计 的博客
08-22 6605
Centos7.2下载地址：http://archive.kernel.org/centos-vault/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.isoCentos7.2安装教程：http://1130739.blog.51cto.com/1120739/1738791附：CentOS官网历史发行版本下载地址：http://archive.ker...
Ambari学习3_Ambari Registration with the server failed 错误解决
wang_zhenwei的博客
11-08 1万+
按照网上的教程安装配置Ambari，进行到第三步时，出现错误： 点击红色“Failed”，查看详细错误： ========================== Creating target directory... ========================== Command start time 2016-11-09 16:24:42 Connection to sla
全网最详细的ambari集群搭建详细步骤
luo981695830的博客
05-01 7932
1、服务器环境说明 集群三台节点 可以互相访问 使用root用户 配置免密 centos7 ambari-2.6.2.2 hdp-2.6.5 我的环境如下： 192.168.8.105 my-hdp1 192.168.8.106 my-hdp2 192.168.8.107 my-hdp3 2、防火墙设置 #查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stop firewalld #设置防火墙服务开机不自启 system.
通过Ambari自动化部署hadoop集群（附Ansible安装脚本）
悦分享
08-19 716
对于Ambari的安装，目前有两个可选发行版本，分别式是Apache的Ambari，另一个是Hortonworks的Ambari，这两个发行版本区别不大，但Apache的Ambari需要编译才能使用，而Hortonworks的Ambari提供了rpm包版本。目前，Ambari已支持大多数Hadoop生态圈的组件，例如HDFS、MapReduce、 Hbase、Spark、Storm、Kafka、Druid、Zookeeper、Hive、Pig、Sqoop、Oozie等。
使用ambari安装Hadoop集群
九万里
07-09 4615
一、环境准备 1.操作系统检查 操作系统版本检查 cat /etc/redhat-release 操作系统默认语言检查 echo $LANG echo 'export LANG=en_US.UTF-8' >> ~/.bashrc 操作系统时区设置 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 时钟同步 4.1 安装ntp服务： rpm –qa|grep ntp yum install ntp systemctl is
Ambari学习13_安装ambari的时候遇到的ambari和hadoop问题集
热门推荐
wang_zhenwei的博客
11-14 3万+
5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for mo
ambari安装问题 Confirm Hosts SSLError: Failed to connect. Please check openssl library versions
jzero_2008的专栏
07-20 1912
Running setup agent script... ========================== Command start time 2018-07-20 16:39:31 ("INFO 2018-07-20 16:40:22,452 HeartbeatHandlers.py:116 - Stop event received INFO 2018-07-20 16:40:22...
CentOS7 修改Hostname
锐意工作室
06-05 1675
在CentOS7中，以root用户运行以下命令： hostnamectl set-hostname [host_name] 在Terminal中退出当前会话，再次登陆发现Hostname已经显示为新的Hostname，运行uname -a 查看Hostname也已经为新的Hostname。 参考文档： * https://blog.csdn.net/jpiverson/article/de...
离线安装HDP Hadoop集群：Ambari引导下的高效部署
本文档详细介绍了如何使用Ambari工具离线安装HDP-Hadoop集群的过程。Ambari是由Apache开源社区维护的一个用于配置、监控和管理Hadoop集群的管理框架，其目标是简化Hadoop的部署和维护工作。Ambari支持多种Hadoop组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蜗牛@漫步

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值