Ambari2.7.5集群搭建详细流程

最新推荐文章于 2023-03-04 23:26:17 发布
最新推荐文章于 2023-03-04 23:26:17 发布
阅读量2k 收藏 7
点赞数 1
分类专栏： 大数据平台 文章标签： ambari 大数据平台 大数据集群 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Keyuchen_01/article/details/128942667
版权

0 说明

本文基于本地虚拟机从零开始搭建ambari集群

1 前置条件

1.1 本地虚拟机环境

节点角色
ambari-1ambari-server ambari-agent
ambari-2ambari-agent
ambari-3ambari-agent

1.2 安装包

1.3 修改主机名并配置hosts文件

hostnamectl set-hostname ambari-1
hostnamectl set-hostname ambari-2
hostnamectl set-hostname ambari-3

配置hosts,添加如下内容

192.168.2.51 ambari-1
192.168.2.52 ambari-2
192.168.2.53 ambari-3

1.4 配置节点间免密

所有节点执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-1
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-2
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-3

1.5 关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

在这里插入图片描述

1.6 关闭selinux(所有节点)

vim /etc/sysconfig/selinux

修改

SELINUX=disabled

查看修改是否成功

 sestatus -v

在这里插入图片描述

1.7 设置安全限制(所有节点)

 vim /etc/security/limits.conf

添加如下内容：

* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

1.8 修改系统最大文件打开数(所有节点)

 vim /etc/systemd/system.conf

在这里插入图片描述

1.9 安装pssh(非必须)

pssh基于Python编写的并发在多台服务器上批量执行命令的工具，它支持文件并行复制、远程并行执行命令、杀掉远程主机上的进程等,这里介绍安装及常用命令。

wget http://peak.telecommunity.com/dist/ez_setup.py
wget https://pypi.python.org/packages/60/9a/8035af3a7d3d1617ae2c7c174efa4f154e5bf9c24b36b623413b38be8e4a/pssh-2.3.1.tar.gz
  • 解压
tar -zxvf  pssh-2.3.1.tar.gz

build & install

 python setup.py build
 python setup.py install
  • 创建nodes文件

添加需要批处理的服务器节点

ambari-1:22
ambari-2:22
ambari-3:22
  • 使用示例
 pssh -h /root/node.txt -i -P 'date'

在这里插入图片描述

1.10 配置ntpd同步(所有节点)

1.11 设置swap(所有节点)

pssh -h /root/nodes.txt -i 'echo vm.swappiness = 1 >> /etc/sysctl.conf'

 pssh -h /root/nodes.txt -i 'sysctl vm.swappiness=1'

 pssh -h /root/nodes.txt -i 'sysctl -p'

在这里插入图片描述

1.12 安装http服务(主节点)

yum -y install httpd

设置开机自启

systemctl start httpd
systemctl enable httpd.service

浏览器访问测试，出现如下页面说明安装成功
在这里插入图片描述
安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps目录），进入到/var/www/html目录下，创建ambari和hdp目录，用来存放安装文件.

1.13 安装httpd服务(主节点)

mkdir /var/www/html/ambari
mkdir /var/www/html/hdp
mkdir /var/www/html/hdp/HDP-UTILS-1.1.0.22
mkdir /var/www/html/hdp/HDP-GPL-3.1.5.0

 tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/ambari/
 tar -zxvf HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
 tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/
 tar -zxvf HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/hdp/HDP-GPL-3.1.5.0/

重启httpd服务

systemctl restart httpd

测试访问：

http://ambari-1:/ambari
http://ambari-1:/hdp

在这里插入图片描述
在这里插入图片描述

1.14 配置离线yum源(主节点)

cd /var/www/html/ambari/ambari/centos7/2.7.5.0-72
vim ambari.repo

在这里插入图片描述

复制到/etc/yum.repos.d目录下，并同步到其他节点
查看yum源是否配置成功

pssh -h /root/nodes.txt -i 'yum repolist'

在这里插入图片描述

1.15 安装jdk(所有节点)

注：安装在/usr/local/java目录下或在该目录下建立软连接，因为ambari默认会去该目录找java。

2 安装Mysql

2.1 卸载mariadb

rpm -qa | grep mariadb | xargs rpm -e --nodeps

2.2 下载mysql5.7的yum源

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

2.3 安装Mysql的yum源

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

2.4 安装Mysql

yum -y install mysql-server

安装过程中可能报错如下：
在这里插入图片描述
执行如下命令，再次安装即可

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

2.5 启动mysql

service mysqld start

2.6 查看root密码

grep 'temporary password' /var/log/mysqld.log

2.7 执行Mysql脚本

mysql_secure_installation

在这里插入图片描述

2.8 配置新密码

2.9 配置root远程登录

mysql -uroot -p密码
grant all privileges on *.* to 'root' @'%' identified by 'Chen.123456';
flush privileges;

在这里插入图片描述

2.10 拷贝mysql驱动

将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名mysql-connector-java.jar
注：这里需要将mysql的驱动jar包拷贝到/usr/share/java目录下，如果该目录不存在，则新建目录。因为ambari-server启动后会默认到该位置找jar包，如果/usr/share/java不存在该jar包，则会报错如下：
在这里插入图片描述

3 安装Ambari&HDP

3.1 安装ambari-server

 yum -y install ambari-server

在这里插入图片描述

3.2 配置ambari.properties

配置/etc/ambari-server/conf/ambari.properties

 vim /etc/ambari-server/conf/ambari.properties

添加如下配置

server.jdbc.driver.path=/root/software/mysql/mysql-connector-java.jar

3.3 配置ambari-server

ambari-server setup

在这里插入图片描述

3.4 登录mysql创建ambari安装所需要的库

1）创建ambari数据库和ambari用户

 CREATE DATABASE ambari DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 use ambari;
 CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123';
 GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
 CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari123';
 GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
 CREATE USER 'ambari'@'ambari-1' IDENTIFIED BY 'ambari123';
 GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'ambari-1';

可能包如下错：

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

这是由于mysql策略设置的问题，解决方案如下：
① 查看mysql当前密码设置策略

SHOW VARIABLES LIKE 'validate_password%';

② 执行如下命令，即可

set global validate_password_policy=0;

2）执行初始化sql语句

use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
  1. 创建hive数据库和hive用户
    注：这里创建的hive账户主要用来后续安装hive组件时使用，如果不需要安装hive，则可跳过此步
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use hive;
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
CREATE USER 'hive'@'ambari-1' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'ambari-1';
  1. 创建oozie数据库和oozie账户
    注：这里创建的oozie账户主要用来后续安装hive组件时使用，如果不需要安装oozie，则可跳过此步
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use oozie;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
CREATE USER 'oozie'@'localhost' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'localhost';
CREATE USER 'oozie'@'ambari-1' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'ambari-1';

5）刷新

FLUSH PRIVILEGES;

3.5 启动ambari-server

ambari-server start

在这里插入图片描述
查看/var/log/ambari-server/ambari-server.out日志，发现正常
在这里插入图片描述

3.6 所有节点安装ambari-agent

pssh -h /root/nodes.txt -i 'yum -y install ambari-agent'

修改配置文件ambari-agent.ini

vi /etc/ambari-agent/conf/ambari-agent.ini

在这里插入图片描述

启动ambari-agent

pssh -h /root/nodes.txt  -i 'systemctl start ambari-agent'

在这里插入图片描述

4 部署集群

登录ambari-1:8080可看到如下页面,账户和密码均为admin

ambari-1:8080

在这里插入图片描述

4.1 设置集群名

在这里插入图片描述

4.2 设置正确版本

选择HDP-3.1和Use Local Repository
在这里插入图片描述
删除其他镜像源，选择Redhat,并输入HDP的url地址
在这里插入图片描述

4.3 配置节点并验证

设置ambari集群的节点，选择手动(这里需要保证集群其他节点的ambari-agent均正常启动)
在这里插入图片描述
等待准备完成
在这里插入图片描述

4.4 选择需要安装的服务

在这里插入图片描述
注：点击下一步如发生报错，说明ambari用户对目录没有执行权限，在后台执行如下命令即可

Error message: Error occured during stack advisor command invocation: Cannot create /var/run/ambari-server/stack-recommendations

sudo chown -R ambari /var/run/ambari-server

在这里插入图片描述

4.5 配置

按默认配置
在这里插入图片描述

4.6 配置服务slaves

在这里插入图片描述

4.7 设置相关服务密码

在这里插入图片描述

4.8 测试数据库连接

在这里插入图片描述
注：如果测试连接失败，报错如下：
在这里插入图片描述
这里是由于mysql的jar包没有识别到，在server节点执行如下命令

ambari-server setup --jdbc-db=mysql --jdbc-driver=/root/software/mysql/mysql-connector-java.jar

在这里插入图片描述
然后再点击测试即能正常连接
保持默认，点击下一步
在这里插入图片描述
保持默认，下一步
在这里插入图片描述
保持默认，下一步
在这里插入图片描述

4.9 部署

在这里插入图片描述
等待部署完成
在这里插入图片描述
安装完成(这里报黄是由于，当前安装是虚拟机安装，内存不足显示为黄色，没有问题)
在这里插入图片描述

4.10 完成安装

在这里插入图片描述
在这里插入图片描述

5 附ambari汉化

5.1 汉化的文件

模块源码文件目录编译后目录安装后目录
仪表盘主界面ambari-web/app/messages.jsambari-web/public/javascripts/app.js/usr/lib/ambari-server/web/javascripts/app.js
管理员界面ambari-admin/src/main/resources/ui/admin-web/app/scripts/i18n.config.js/main.js不变/var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/scripts
主页底部版权信息ambari-web/app/assets/index.htmlambari-web/public/index.html /usr/lib/ambari-server/web/index.html
登录框ambari-web/app/templates/login.hbspublic/javascripts/app.js/usr/lib/ambari-server/web/javascripts/app.js
DashBoard 页头/ambari-web/app/templates/application.hbspublic/javascripts/app.js/usr/lib/ambari-server/web/javascripts/app.js
仪表盘的关于信息ambari-web/app/templates/common/about.hbspublic/javascripts/app.js
管理页面的关于信息/ambari-admin/src/main/resources/ui/admin-web/app/views/modals/AboutModal.html不变/var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/views/modals/AboutModal.html

5.2 替换app.js

给出参考app.js汉化包如下：

链接：https://pan.baidu.com/s/1FOajkxocFSKxAg_huAowXw 
提取码：25wu

5.3 修改logo

根据自身需要自定义/usr/lib/ambari-server/web/

5.4 修改仪表盘AboutModal.html

5.5 修改Index.html

版权信息
在这里插入图片描述
修改完成后重启ambari-server即可
在这里插入图片描述
在这里插入图片描述

不以物喜2020
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
ambari 安装及使用ambari安装hadoop记录
yujianbujianqwe的博客
08-15 1906
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。百度百科-验证。
Ambari部署Hive
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
07-23 1912
创建Hive所需的MySQL资源 Hive的部署过程跟 HBase基本一样，不过 Hive的元数据一般选择存放在MySQL，所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理： #在MySQL所在服务器ambari-01 mysql-uroot-pPWD@123456 #执行如下指令 setglobalvalidate_password_policy=0; setglobalvalidate_password_mixed_case_count=0; ...
Ambari2.75安装及HDP3.1.5集群搭建.pdf
11-09
Ambari2.75安装及HDP3.1.5集群搭建.pdf
最新版Ambari2.75安装及HDP3.1.5集群搭建
NDF923的专栏
05-06 9009
最近打算使用ambari搭建集群，却突然发现Cloudera相关软件包括HDP、CDH都收费了，都需要有效的订阅，并且只能通过付费墙进行访问（官宣地址：https://cn.cloudera.com/downloads/paywall-expansion.html#）。还好笔者千辛万苦在内外网找了两天才搞到最新版ambari2.7.5和HDP3.1.5的二进制安装包。以下详细介绍ambari的安装，及使用ambari搭建HDP集群的详细步骤，以及遇到的各种问题；文末有提供ambari2.7.5和HDP3.1
Ambari-2.7.5.0 + HDP-3.1.5.0网盘地址
IT从业者的成长历程
12-14 2394
文章目录Ambari-2.7.5.0 + HDP-3.1.5.0网盘地址 Ambari-2.7.5.0 + HDP-3.1.5.0网盘地址 如果过期，请留言，我会及时更新链接 ...
ambari 2.7.5 安装包下载
07-05
该资源为Ambari2.7.5预编译安装包，资源已放到百度网盘，可以先下载《ambari预编译安装包网盘下载地址.txt》获取网盘地址进行下载，资源内容：ambari-2.7.5.0-centos7.tar.gz 如有其他ambari相关资源需求可私信我
Ambari 2.7.5及其配套的HDP和HDF资源包
08-15
包含集群部署所需的： ambari-2.7.5.0-centos7.tar.gz HDP-3.1.5.6091-centos7-rpm.tar.gz HDF-3.4.1.1-centos7-rpm.tar.gz HDP-GPL-3.1.5.0-centos7-gpl.tar.gz hdf-ambari-mpack-3.4.1.1-4.tar.gz HDP-UTILS-1.1....
Ambari2.7.5+HDP3.1.5 离线安装网盘下载地址
09-16
免费的。还有HDP3.2.1等资源，欢迎下载，转发，收藏，点赞！
Ambari2.7.5&HDP3.1.5.txt.zip
01-17
在 Ambari2.7.5&HDP3.1.5.txt 文件中，通常会包含详细的安装指南、配置参数和注意事项，帮助用户顺利完成集群搭建。 总之，Ambari 2.7.5 和 HDP 3.1.5 的结合为大数据环境的管理和运维提供了一个强大的工具集，让...
ambari2.7.5-centos7安装文件
05-10
文件内容包含：ambari-2.7.5.0-centos7.tar.gz、HDP-UTILS-1.1.0.22-centos7.tar.gz、HDP-GPL-3.1.5.0-centos7-gpl.tar.gz、HDP-3.1.5.0-centos7-rpm.tar.gz
ambari-2.7.4.0-centos7.tar.gz
08-17
ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，HDP-UTILS-1.1.0.22-centos7.tar.gz，HDP-GPL-2.6.5.0-centos7-gpl.tar.gz
ambari-2.7.5+hdpHDP-3.1.5
one_uueu的博客
11-16 3679
1.查看linux版本、内核、cpu、内存 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core) [root@localhost ~]# [root@localhost ~]# uname -a Linux localhost.localdomain 3.10.0-1127.el7.x86_64 #1 SMP Tue Mar 31 23:36:51 UTC 2020 x86_64 x86_64 x8
【Ambari】ambari组件安装
如切如磋，如琢如磨，臻于至善。
01-28 1028
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
第一讲：ambari-2.7.5.0 全部模块源码编译并安装部署ambari
CREATE_17的博客
03-04 502
Ambari 2.7.5 全部源码编译，详细教程，编译 ambari-metrics 模块时依赖的 tar.gz 包免费提供！！！ 编译步骤、思路 适配于 ambari 所有版本！！
Hadoop平台组件部署
TH_lsq的博客
11-19 1941
Hadoop平台组件部署 目录 引言 5 1.1. 目的 5 1.2. 术语与缩写解释 6 1.3. 参考资料 6 系统配置 6 2.1. 运行环境 6 2.2. 硬件配置 7 2.3. 硬件安排 7 2.4. 配置架构图 7 2.5. 平台组件介质 7 2.6. 第三方依赖包 8 组件部署 8 3.1. 部署说明 8 3.2. 部署要点 8 3.3. 环境配置 8 3.3.1. 主机免密登陆配置 8 3.3.2. 主机名配置 9 3.3.3. HOSTS配置 10 3.3.4. 关闭防火墙 10 3.3
Ambari安装，配置和部署Hadoop集群
狮锅艺
03-20 3581
使用Ambari安装Hadoop集群
启动ambari-server报错
kiwi的专栏
11-15 4852
在安装完ambari-server重新启动的时候报如下的错误： [root@aaa yum.repos.d]# service ambari-server start Using python /usr/bin/python2.6 Starting ambari-server Traceback (most recent call last): File "/usr/sbin/ambari
Ambari集群搭建
LSur_king的博客
08-03 533
【集群规划】 虚拟机1 虚拟机2 虚拟机3 内 存 5GB 5GB 5GB 磁 盘 115GB 115GB 115GB host名 vm01 vm02 vm03 ip地址 192.168.1.100 192.168.1.102 192.168.1.104 ssh信息 root/polyv123 root/polyv123
hdp3.1.5 ubuntu ambari 2.7.5
最新发布
01-24
HDP 3.1.5是Hortonworks Data Platform（Hortonworks数据平台）的一个版本，Ubuntu是一个流行的开源操作系统，而Ambari 2.7.5是一个用于管理Hadoop集群的开源工具。 HDP 3.1.5是Hortonworks为大数据分析和处理提供的软件套件。它包括了一系列的开源组件，如Hadoop、Hive、HBase、Spark和Kafka等，可以用于存储和分析大规模数据。HDP 3.1.5版本带来了许多新功能和改进，提高了数据处理性能、安全性和可靠性。 Ubuntu是一个流行的开源操作系统，特点是易用性和稳定性。它支持HDP 3.1.5，并提供了包管理工具，方便用户安装和管理HDP的软件包。 Ambari 2.7.5是一个开源的集群管理工具，用于配置、监控和管理Hadoop集群。它提供了一个直观的Web界面，方便用户进行集群的配置和管理。Ambari 2.7.5版本为用户带来了更加稳定和高效的集群管理功能，并修复了一些bug。 结合使用HDP 3.1.5、Ubuntu和Ambari 2.7.5，用户可以方便地部署、配置和管理Hadoop集群。通过Ambari的直观界面，用户可以轻松监控集群的状态，并进行必要的配置和调整。Ubuntu作为操作系统，为HDP和Ambari提供了高度稳定和可靠的平台，确保集群正常运行。 总而言之，HDP 3.1.5提供了丰富的大数据处理工具，Ubuntu作为操作系统提供了稳定的平台，而Ambari 2.7.5则提供了集群管理的功能，使用户能够更方便地部署、配置和管理Hadoop集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值