超全步骤——Ambari+HDP部署

最新推荐文章于 2023-10-19 11:30:02 发布
最新推荐文章于 2023-10-19 11:30:02 发布
阅读量5.9k 收藏 29
点赞数 10
分类专栏： 大数据 文章标签： ambari hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cz124560/article/details/123532469
版权

Ambari 相关文档地址

Ambari 官方资料入口：
https://www.cloudera.com/products/open-source/apache-hadoop/apache-ambari.html

Ambari 相关 rpm 包：
https://docs.cloudera.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ambari_repositories.html

HDP 相关 rpm 包：
https://docs.cloudera.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html

Ambari 相关软件版本适配表：
https://supportmatrix.hortonworks.com/

本文采用的是3台节点的安装

硬件环境

操作系统： Centos-7

节点类型主机名
主节点Hadoop01
从节点Hadoop02
从节点Hadoop03

软件环境

软件环境版本号
JdKjdk1.8.0_321
Mysql5.7.29
Ambari2.7.5.0
HDP3.1.5.0

修改主机名（三台主机分别修改主机名）

# 使用hostnamectl命令修改主机名，执行该命令后立即生效，但必须需要重启Xshell连接
# 以其中一台为例，代码如下
hostnamectl set-hostname hadoop01
# 其余的机器也使用hostnamectl命令修改主机名
...(略)

修改hosts文件

# 添加机器ip与主机名映射
vim /etc/hosts

在这里插入图片描述

关闭防火墙和selinux

# 查看防火墙状态
systemctl status firewalld
# 查看开机是否启动防火墙服务
systemctl is-enabled firewalld
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 再次查看防火墙状态和开机防火墙是否启动
systemctl status firewalld
systemctl is-enabled firewalld

禁用selinux

# 永久性关闭selinux（重启服务器生效）
sed -i 's/SELINUX=enforcing/SELINUX =disabled/' /etc/selinux/config
# 临时关闭selinux（立即生效，重启服务器失效）
setenforce 0
# 查看selinux状态
getenforce
# disabled为永久关闭，permissive为临时关闭，enforcing为开启

免密登陆

各个主机均执行以下操作：

## 生成密钥对
ssh-keygen -t rsa   ## 一路回车即可
## 进入.ssh目录，如果目录不存在则创建
cd ~/.ssh
## 将公钥导入至authorized_keys
cat id_rsa.pub >> authorized_keys
## 修改文件权限
chmod 700 ~/.ssh
chmod 600 authorized_keys

扔钥匙多主机免密这块就略过了

同时省略了 安装JDK和安装Mysql的步骤

登入Mysql

mysql -u root -p

新增ambari用户并增加权限

mysql -uroot -proot123
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
CREATE USER 'ambari'@'hadoop01' IDENTIFIED BY 'ambari';
GRANT ALL PRIVILEGES ON *.* TO 'ambari’@'hadoop01';  //本地主机名
FLUSH PRIVILEGES;

使用ambari用户登陆并创建数据库

mysql -uambari -pambari
CREATE DATABASE ambari;
exit;

安装httpd和wget服务

# 安装httpd
yum -y install httpd.x86_64
systemctl enable httpd.service
systemctl start httpd.service
# 安装wget
yum -y install wget

ambari和hdp包自行获取哈
然后把包放在/var/www/html/

新建repo文件

新建ambari.repo文件

[ambari]
name=ambari
baseurl=http://hadoop01/ambari/centos7/2.7.5.0-72/
enabled=1
gpgcheck=0

放入/etc/yum.repos.d/目录下。

在主节点安装ambari-server
安装

yum -y install ambari-server

将mysql-connector-java.jar包拷贝到/usr/share/java目录下
修改配置文件

echo server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar >> /etc/ambari-server/conf/ambari.properties

安装ambari-server

ambari-server setup

如下是打印输出：

[root@hadoop01 yum.repos.d]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/software/jdk1.8.0_321
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost): hadoop03
Port (3306): 3306
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Re-enter password: 
Configuring ambari database...
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL directly from the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.7.5.0.72.jar
....
Ambari repo file doesn't contain latest json url, skipping repoinfos modification
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
[root@hadoop01 yum.repos.d]#

初始化mysql数据库

mysql -uambari -pambari
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

这里注意一下

卸载SmartSense包

HDP这边有个组件 是SmartSense 这个是一个收费的东西 HDP为了赚money的一个组件 我们要先给他干掉
首先把这些包查出来
在这里插入图片描述
删掉

rm -rf /var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE
rm -rf /var/lib/ambari-server/resources/stacks/HDP/3.0/services/SMARTSENSE
rm -rf /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
rm -rf /var/lib/ambari-agent/cache/stacks/HDP/3.0/services/SMARTSENSE

在这里插入图片描述
启动ambari-server

ambari-server start

如果启动过程失败，可以去/var/log/ambari-server/ambari-server.log查看报错信息，一般是由于数据库配置不好导致ambari启动失败。

登陆浏览器访问: http://hadoop01:8080/，利用界面部署集群。
默认登陆账号/密码为：admin/admin。
在这里插入图片描述

开始部署

在这里插入图片描述

Get started

下一步
这里写入集群名称。
在这里插入图片描述

Select Version

然后就是HDP的版本信息了
可以选择环境上的 也可以使用 默认的大版本 基本上一样
在这里插入图片描述

往下面划 选择使用本地的源
在这里插入图片描述
这里选择本地的源文件 （不要使用公共的存储库 会存在一些问题）
在安装的时候 他会把HDP、HDP-GPL、HDP-UTILS 写入mysql中的repo_definition.
我们可以看下：select * from repo_definition;
在这里插入图片描述

Install Options

下一步
在这里插入图片描述
1:输入主机名 cat /etc/hosts
2:输入私钥 cat ~/.ssh/id_rsa
也就是框的这一段
在这里插入图片描述

3:用户名以及端口 因为本文使用root 的 所以上面的私钥也是root 的。

Confirm Hosts

下一步
在这里插入图片描述
这里是在检测agent环境 很多异常错误 会在这里产生 （其实在这一步 你的ambari-agent就给你安装了）
大家也可以去看下
在这里插入图片描述
日志中就会有hostlist 也就是之前那里填写的那些
在这里插入图片描述

然后就会检查主机环境
在这里插入图片描述
我这边没有遇到什么错误 检查通过了 有问题的可以留言 我们可以一起看看的
在这里插入图片描述

Choose Services

下一步
然后就选择要安装的服务
在这里插入图片描述
*

Assign Masters

然后规划节点的实例
在这里插入图片描述

Assign Slaves and Clients

这里客户端 我全都装了 装了3个
在这里插入图片描述

Customize Services

下一步 这里就是组件的一些相关信息了：（配置相关信息）
在这里插入图片描述
下一步 接下来就是更加详细的一些信息了
在这里插入图片描述

Review

下一步 接下来就是安装组件的信息了：
镜像源等等。。。。
在这里插入图片描述

Install,Start and Test

犹豫环境内存紧张 太卡了 我更改了只安装zk
在这里插入图片描述

安装完成

在这里插入图片描述
点击完成
就可以看到界面啦（没有监控信息是因为没有安装Ambari Metrics）
在这里插入图片描述
安装了hdfs和yarn、Ambari Metrics。
因为安装了Ambari Metrics 所以可以看到监控了
在这里插入图片描述

超级迅猛龙
关注
  • 10
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
Ambari原理与代码实例讲解
禅与计算机程序设计艺术
06-15 274
Ambari原理与代码实例讲解 1. 背景介绍 Apache Ambari 是一个开源的大数据集群管理工具,用于简化 Apache Hadoop 生态系统中的软件安装、配置、集群管理和监控等操作。在大数据时代,随着数据量的快速增长和分析需求的不断扩大,单机系统已经无法满足企业的需求。因此,构
大数据HDPAmbari2.7.7ambari-agent-2.7.7.0-0.x86-64.rpm
最新发布
11-03
[大数据][HDP][Ambari][2.7.7]ambari-agent-2.7.7.0-0.x86_64.rpm Apache Ambari 是一个用于配置、管理和监控 Apache Hadoop 集群的工具。Ambari 由一组 RESTful API 和一个基于浏览器的管理界面组成。 ambari-agent是用于管理群集节点的代理器。详细安装步骤参考https://github.com/apache/ambari/
【大数据】大数据 Hadoop 管理工具 Apache Ambari（HDP）
匠人精神，持之以恒！
06-13 4160
Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。
大数据平台Ambari2.7.4+HDP3.1.4详细安装教程
csdnuser267的博客
10-19 1225
Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，同样还提供了集群状况仪表盘，通过界面方便用户查看问题及管理组件。
大数据平台HDP3.1 安装及常见问题处理
记录的技术
09-20 385
HDP平台、大数据平台运维
大数据平台ambari
warrah 南极狼
12-26 1397
调研发现网易猛犸、金山云采用的军事ambari，甚至在易观直接把大数据平台中ambari的截图放到了官网上，足见它的影响力有多强。 ambari长啥样子，可以参考使用Apache Ambari管理Hadoop集群 而Ambari 2.7.3与HDP 3.1.0安装过程，虽然这篇文章讲的笔记好，但是实际环境可能更为复杂，系统盘有35G，而数据盘有29T空间，那么ambari以及其他依赖环境应该部署在/appdata中，为了防止错误，那么ambari的用户是否需要新建一个呢，如果安装在root用户下面，很容易犯
Ambari+HDP+HDP-UTILS.rar
03-28
标题中的"Ambari+HDP+HDP-UTILS.rar"表明这是一份与Apache Ambari、Hortonworks Data Platform (HDP)以及HDP-UTILS相关的压缩包资源。这些组件在大数据处理和管理领域具有重要作用，主要用于简化Hadoop生态系统的...
Ambari2.7.6+HDP3.3.1 离线安装网盘下载地址
11-05
支持x86_64和ARM64(aarch64)
Ambari2.7.3+HDP3.1.0安装部署详细步骤说明文档 .docx
05-22
Ambari2.7.3+HDP3.1.0基础集群搭建，步骤详细，已实践验证过，搭建成功完成，分享给需要的人
Ambari+HDP+HDP-UTILS 下载地址大全
07-04
Ambari 2.5.1 Repositories Ambari 2.5.0 Repositories Ambari 2.4.3 Repositories Ambari 2.4.2 Repositories Ambari 2.4.1 Repositories Ambari 2.4.0 Repositories HDP 2.6 Repositories HDP 2.5 Repositories ...
虚拟机部署Ambari + HDP 2.6.X 版本
01-09
同CDH部署类似，步骤分为ambari的部署和hdp的部署，先以1台为例(内存>6G，磁盘划分/至少40G，/data/10G)，后续节点可以通过扩容方式加入集群，可参考：https://blog.csdn.net/qq_32593713/article/details/81429573 ...
HDP集成环境配置工具ambari2.7含源码
07-25
HDP集成环境配置工具ambari2.7含源码，Web操作界面，简单实用。
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）
小强签名设计 的博客
08-22 6367
Centos7.2下载地址：http://archive.kernel.org/centos-vault/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.isoCentos7.2安装教程：http://1130739.blog.51cto.com/1120739/1738791附：CentOS官网历史发行版本下载地址：http://archive.ker...
Ambari + HDP 整体介绍
GIS摆渡人
12-09 5589
Ambari 是 hortonworks推出的管理监控Hadoop集群的Web工具，此处的Hadoop集群不单单指Hadoop集群，而是泛指hadoop 整个生态，包括Hdfs，yarn,Spark,Hive,Hbase,Zookeeper，druid等等，管理指的是可以通过Ambari对整个集群进行动态管理，包括集群的部署，修改，删除，扩展等，监控指Ambari实时监控集群的运行状况，包...
Ambari 2.7.5+HDP 3.1.5.0部署
itzcdl的博客
05-26 403
HDP（Hortonworks Data Platform）3.1.5和Ambari（Apache Ambari）2.7.5是开源的大数据平台软件。它们本身没有特别限制使用的限制，可以在符合其运行要求的计算机上自由安装和使用。但是需要注意的是，使用这些软件可能涉及到一些许可证和法律条款方面的问题。例如，如果您在商业环境中使用HDP和Ambari，则需要了解相关的商业许可证费用和条件。此外，在某些国家或地区，可能有禁止或限制使用此类软件的法规。
如何配置配置Ambari_大数据培训
zjjcchina的博客
12-05 731
在MySQL中创建数据库1）创建ambari库[root@hadoop102 hdp]# mysql -u root -p000000mysql >create database ambari;2）使用Ambari自带脚本创建表mysql >use ambari;mysql>source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;3）赋予用户root权限：mysql> grant all privileges on *.* to
HDP3.1.5+Ambari2.7.5安装
别人笑我太疯癫，我笑他人看不穿。
05-25 3410
第一步：搭建环境准备 系统使用CentOS 7 64位 服务器节点三台： 192.168.88.166 node1 192.168.88.167 node2 192.168.88.168 node3 配置：单台8核10G 关闭防火墙与selinux vi /etc/sysconfig/selinux SELINUX=disabled systemctl stop firewalld.service systemctl disable firewalld.service systemctl statu
基于Ambari的HDP搭建
PAyy_413的博客
09-15 505
搭建过程中出现了很多问题，该文档都是避坑之后写的。跟着步骤搭建，一定可以搭建成功。
HDP安装教程笔记
weixin_42781936的博客
03-01 2318
零基础入门HDP集群安装，使用ambari进行安装大数据集群组件，实操从零学习掌握集群安装，从安装centos系统到hadoop集群的安装，细节清晰
esxi6.5环境下centos6.5+ambari+HDP+ELK+neo4j集群搭建
03-19
本篇教程详细介绍了如何在ESXi 6.5环境中搭建一个基于CentOS 6.5的分布式IT集群，包括Ambari、HDP（Hadoop Distribution）、ELK（Elasticsearch、Logstash、Kibana）以及Neo4j的部署。以下是主要步骤的详细说明： 1...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值