Ambari 安装部署教程(手把手教学）【超级详细】

置顶 已于 2024-12-25 10:11:06 修改
阅读量1w 收藏 100
点赞数 60
分类专栏： 课设项目 文章标签： ambari php 服务器
于 2024-01-06 18:26:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74070923/article/details/135429146
版权

Ambari 的安装部署

这里有详细的Ambari的安装部署，快来围观，保证成功！

成功了别忘了关注一下我哈

1. CentOS7 虚拟机安装

准备3台CentOS7虚拟机【设置root密码为 123456】
（以下步骤可以先在1台机器操作，然后克隆2台，最后再修改IP）
进入安装程序:
在这里插入图片描述

直接下载
在这里插入图片描述
直接Continue
时区改到上海
在这里插入图片描述在这里插入图片描述
选择手动分盘
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

设置root用户密码（123456）
在这里插入图片描述

等待安装完成
在这里插入图片描述

2.虚拟机环境设置

1.配置网卡

vi etc/sysconfig/network-scripts/ifcfg-ens33

#修改配置文件

BOOTPROTO=static 
ONBOOT=yes 
#添加以下内容 
IPADDR=192.168.222.171 
NETMASK=255.255.255.0 
GATEWAY=192.168.222.2 
DNS1=8.8.8.8

2.重新启动网络配置

service network restart

3.测试网络是否畅通(本地PING 虚拟机IP)

4.更改主机名

hostnamectl set-hostname hdp01

5.配置FQDN（所有节点）

vi /etc/sysconfig/network

NETWORKING=yes 

HOSTNAME=hdp01.bigdata.com（自己随便设，保证前后一致就行）

6.克隆其他节点

完整克隆hdp01,修改主机名hdp02,hdp03

7.更改hosts，添加主机映射

vi /etc/hosts

192.168.222.171 hdp01.bigdata.com hdp01 
192.168.222.172 hdp02.bigdata.com hdp02 
192.168.222.173 hdp03.bigdata.com hdp03

8.关闭防火墙

#关闭防火墙

 systemctl stop firewalld

#关闭防火墙开机自启

systemctl disable firewalld

#通过此命令查看防火墙状态

systemctl status firewalld

9.关闭SELINUX

#关闭SELINUX(master node)

setenforce 0

（所有节点）
vi /etc/selinux/config

#SELINUX=enforcing修改为

SELINUX=disabled

#重启系统

shutdown -r now

#查看selinux状态

getenforce

disabled为永久关闭，permissive为临时关闭，enforcing为开启

10.安装JDK8

1.上传并解压压缩包

mkdir /data/tars
tar -zxvf /data/tars/jdk-8u171-linux-x64..gz -C /opt

2.配置环境变量
vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

3.更新配置

source /etc/profile

4.验证

[root@hdp01 ~]# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

10.Check the Maximum Open File Descriptors（所有节点）

ulimit -Sn
ulimit -Hn

#如果以上命令显示数量小于10000，建议调成10000（公司是65535，这里是虚拟机就写少一点吧）

ulimit -n 10000

3.SSH 免密登陆配置

1.各个机器执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

chmod 600 ~/.ssh/authorized_keys

2.把各个主机上公钥id_rsa.pub文件内容放到各个主机authorized_keys中
#hdp01

scp ~/.ssh/id_rsa.pub root@192.168.222.172:/root/.ssh/id_rsa.pub.hdp01
scp ~/.ssh/id_rsa.pub root@192.168.222.173:/root/.ssh/id_rsa.pub.hdp01

#hdp02

scp ~/.ssh/id_rsa.pub root@192.168.222.171:/root/.ssh/id_rsa.pub.hdp02
scp ~/.ssh/id_rsa.pub root@192.168.222.173:/root/.ssh/id_rsa.pub.hdp02

#hdp03

scp ~/.ssh/id_rsa.pub root@192.168.222.172:/root/.ssh/id_rsa.pub.hdp03

scp ~/.ssh/id_rsa.pub root@192.168.222.171:/root/.ssh/id_rsa.pub.hdp03

#hdp01

cat ~/.ssh/id_rsa.pub.hdp02 >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub.hdp03 >> ~/.ssh/authorized_keys

#hdp02

cat ~/.ssh/id_rsa.pub.hdp01 >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub.hdp03 >> ~/.ssh/authorized_keys

#hdp03

cat ~/.ssh/id_rsa.pub.hdp02 >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub.hdp01 >> ~/.ssh/authorized_keys

3.测试是否可以相互SSH成功

ssh hdp01 
exit 

ssh hdp02 
exit 

ssh hdp03 
exit

4.时间同步

选一台服务器作时间服务器，这里以 hdp01 作为时间服务器，其他服务器以时间服务器时间为准。

hdp01(时间服务器)
1.安装 ntp 服务（三台均安装）

yum install -y ntp

2.修改 ntp 配置文件

vi  /etc/ntp.conf

#根据自己机器的情况，设置允许 hdp02 和 hdp03 机器可以从这台机器上查询和同步时间

restrict hdp02 mask 255.255.255.0 nomodify notrap
restrict hdp03 mask 255.255.255.0 nomodify notrap

#注释以下代码

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

#添加（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

hdp02和hdp003分别加上

restrict 192.168.222.171 nomodify notrap noquert
server 192.168.222.171

3.启动ntp服务并设置开机自启

#启动ntpd服务
systemctl start ntpd

#配置ntpd服务开机自启
systemctl enable ntpd

hdp02、hdp03
1.安装 ntpdate 服务
yum install -y ntpdate

2.同步时间
ntpdate hdp01

3.定时同步时间
crontab -e

#添加如下内容
#每小时的第29分和59分同步一次时间

29,59 * * * * /usr/sbin/ntpdate hdp01

5.安装 http 服务

这里将 hdp01 作为 http 服务器。
#安装服务
yum -y install httpd

#启动服务
systemctl start httpd

#将httpd加入到开机自启
systemctl enable httpd

6.配置 yum 源

1.将Ambari、HDP、HDP-UTILS文件上传到 hdp01 ，并解压

#先在/var/www/html目录下创建ambari、hdp、hdp-utils文件夹

mkdir /var/www/html/ambari
mkdir /var/www/html/hdp
mkdir /var/www/html/hdp-utils

#解压文件

tar -zxvf /data/tars/ambari-2.7.4.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf /data/tars/HDP-3.1.4.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf /data/tars/HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp-utils/

2.配置ambari的yum源

vi /etc/yum.repos.d/ambari.repo

#添加以下内容
[ambari]

name=ambari
baseurl=http://192.168.222.171/ambari/ambari/centos7/2.7.4.0-118/
gpgcheck=0

3.配置hdp和hdp-utils的yum源

vi /etc/yum.repos.d/hdp.repo

#添加以下内容

[HDP-3.1]
name=HDP-3.1
baseurl=http://192.168.222.171/hdp/HDP/centos7/3.1.4.0-315/
gpgcheck=0
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.222.171/hdp-utils/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0

4.验证
yum repolist

5.分发 yum 文件到 hdp02 和 hdp03

scp /etc/yum.repos.d/ambari.repo hdp02:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo hdp02:/etc/yum.repos.d/

scp /etc/yum.repos.d/ambari.repo hdp03:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo hdp03:/etc/yum.repos.d/

7.安装 MySQL

只在hdp01上安装

yum -y install wget

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

上传mysql57-community-release-el7-8.noarch.rpm文件

rpm -ivh mysql57-community-release-el7-8.noarch.rpm  --nodeps --force

yum install mysql-server

service mysqld status

systemctl start mysqld

MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到：

grep 'temporary password' /var/log/mysqld.log

mysql -u root -p
mysql> Enter password: （输入刚才查询到的随机密码）
mysql> SET PASSWORD FOR 'root'@'localhost'= "Root-123";
mysql> exit

用root新密码登录：

mysql -u root -pRoot-123

配置远程登录
允许使用用户名 root 密码 Root-123456 从任何主机连接到mysql服务器

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Root-123456' WITH GRANT OPTION;
mysql>FLUSH PRIVILEGES;
mysql>exit;

创建ambari数据库及用户，登录root用户执行下面语句：

create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

安装mysql jdbc 驱动

yum install mysql-connector-java

8.安装本地源制作相关工具

yum install yum-utils createrepo

在所有节点都要更新源

yum clean all

yum makecache

yum repolist

9.安装Ambari

yum install ambari-server

配置Ambari

ambari-server setup

JAVA_HOME:填存在的Java地址
/opt/jdk1.8.0_171
在这里插入图片描述
在这里插入图片描述

数据库密码填写之前设置的密码:Ambari-123
在这里插入图片描述

初始化数据库

mysql -uambari –pAmbari-123
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
exit;

启动ambari

ambari-server start
在这里插入图片描述

登录

浏览器输入：http://192.168.222.171:8080
在这里插入图片描述

默认用户名/密码：admin/admin

创建集群

命名集群

在这里插入图片描述
在这里插入图片描述

选择版本

在这里插入图片描述

删除掉除了"Redhat7"之外的其他操作系统（这里选择redhat7，因为是CentOS7系统）
在这里插入图片描述

填写刚才配置的repo文件中的地址

http://hdp01/hdp/HDP/centos7/3.1.4.0-315/ 
http://hdp01/hdp-utils/HDP-UTILS/centos7/1.1.0.22/
注册主机

在这里插入图片描述

通过cat /root/.ssh/id_rsa查看私钥内容。
直接copy
在这里插入图片描述

安装服务

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参数配置

在这里插入图片描述
在这里插入图片描述

检查

在这里插入图片描述

安装进度

在这里插入图片描述

安装概要

在这里插入图片描述

静静等待
SUCCESS即成功
在这里插入图片描述

查看仪表盘

在这里插入图片描述

补充

要安装hive组件的额外操作：

具体设置hive元数据存放位置（这里新建一个库来放）

#登录数据库
mysql -uroot -pRoot-123
#创建hive元数据库
mysql> create database hive;
#创建hive用户

mysql>  CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
#授权
mysql>  grant all on hive.* to hive@'%' identified by 'hive';
mysql>  grant all on hive.* to hive@localhost identified by 'hive';

注意：

经常会在启动ambari的时候登录不了界面：
需要查看日志排查错误：
tail -200 /var/log/ambari-server/ambari-server.log
在这里插入图片描述

在网上搜索解决办法，对症解决

创作不易，关注一波

【大数据入门核心技术-Ambari】（三）Ambari安装部署
12-17 424
Pig Latin可完成排序（Order By）、过滤(Where)、求和(Sum)、分组(Group By)、关联(Join)等操作，支持自定义函数；Pig Latin是把类似Sql的语句转换成MapReduce过程进行处理，减少Java 代码的书写，Pig的运行方式有Grunt Shell方式，脚本方式和嵌入式方式。
ambari超详细安装部署
洲小洲
06-04 3663
ambari安装部署 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。 安装环境说明 一台主节点（mas
Ambari 操作指南 .docx
08-21
Apache Ambari 从集群节点和服务收集了大量的信息，并把它们表现为容易使用的，集中化的接口：Ambari Web
ambari安装手册
12-24
大数据组件很多，如果全部手动安装会花费大量的时间，还有可以安装不成功，ambari工具帮助我们安装管理大数据组件
Ambari安装部署HDFS
最新发布
weixin_45035103的博客
03-20 962
Ambari部署HDFS
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
04-13
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
amabri安装教程
qq_44540985的博客
11-16 369
基于3台虚拟机服务器如何安装ambari，并通过ambari安装各大数据组件
Centos7.2安装Ambari2.4.2+HDP2.5.3搭建Hadoop集群
weixin_34087307的博客
04-13 431
2019独角兽企业重金招聘Python工程师标准>>> ...
Ambari安装和配置详细步骤
热门推荐
小慌慌的博客
09-04 1万+
​ 目录 一、准备环境 二、修改主机名和hosts文件 八、安装ambari 九、系统配置 十、实例演示 一、准备环境 1、服务器准备至少3台 我这边准备了3台： 192.168.1.86（master） 192.168.1.87（slave1） 192.168.1.88（slave2） 2、在（master上）:mkdir -p /var/www/html ​3、ambari依赖包准备，上传到主节点master的/var/www/html路径下 （本次选择的amb..
ambari安装详解
大讲台
09-26 1473
（一）准备工作 1、准备几台机器 10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器 10.1.51.10 master 10.1.51.11 slave1 10.1.51.12 slave2 2、都创建管理用户hadoop 3、做ssh免密码登录(ambariserver到其他机器的，hadoop用户) ssh
Ambari部署安装
杨得朝的博客
06-12 1785
Ambari部署安装手册 1·环境配置 本安装基于RHEL 7.3。 1.1关闭防火墙服务（所有节点）和selinux 关闭防火墙： service iptables stop或systemctl stop firewalld 禁止开机启动： chkconfig iptables off 或 systemctl disable firewalld 查看防火墙状态： service...
RedHat6.4全自动安装Ambari2.6.0详细教程(图文一步步)
11-23
RedHat（Centos）6.4全自动安装Ambari2.6.0详细教程(图文一步步) 改文档完全个人创作，转载请带上本人分享资源地址，不当之处请留言 1、安装规划 2、软件包 3、操作系统设置 4、SSH互信 5、脚本化修改系统参数调优 6、安装Ambari 7、创建和设置集群 8、Kerberos 9、常见问题FAQ
Ambari 2.6.0 安装部署文档
01-14
Ambari Hadoop & Spark安装部署文档，Ambari在线安装与问题解决
Ambari安装部署教程
Aries_Chen_CSDN的博客
01-07 1582
前言 之前尝试过使用Ambri安装HDFS集群，整个搭建的流程应该是记录的比较详细的，重新把资料整理了一下发布到博客，希望可以帮到有需要的人吧。 环境准备 以下操作使用root用户执行： 1. 关闭防火墙 chkconfig iptables off service iptables stop chkconfig --list iptables 2. 关闭SElinux vi /etc/sysc...
Ambari集群部署全流程
2401_84048034的博客
04-23 924
互联网大厂比较喜欢的人才特点：对技术有热情，强硬的技术基础实力；主动，善于团队协作，善于总结思考。无论是哪家公司，都很重视高并发高可用技术，重视基础，所以千万别小看任何知识。面试是一个双向选择的过程，不要抱着畏惧的心态去面试，不利于自己的发挥。同时看中的应该不止薪资，还要看你是不是真的喜欢这家公司，是不是能真的得到锻炼。其实我写了这么多，只是我自己的总结，并不一定适用于所有人，相信经过一些面试，大家都会有这些感触。下面有部分截图希望能对大家有所帮助。
Ambari安装部署大数据平台
邢宁
02-11 1092
一、环境准备 1、主机列表 #vim /etc/hosts 192.168.137.128 node1 192.168.137.129 node2 192.168.137.130 node3 2、安装epel仓库 rpm -ivh epel-release-latest-7.noarch.rpm 3、修改主机名, 切记主机名不能出现下划线 #修改主机名(/etc/hostname) hostnamectl set-hostname node1 hostnamectl set-hostname nod
Ambari集群搭建
LSur_king的博客
08-03 817
【集群规划】 虚拟机1 虚拟机2 虚拟机3 内 存 5GB 5GB 5GB 磁 盘 115GB 115GB 115GB host名 vm01 vm02 vm03 ip地址 192.168.1.100 192.168.1.102 192.168.1.104 ssh信息 root/polyv123 root/polyv123
ambari 安装及使用ambari安装hadoop记录
yujianbujianqwe的博客
08-15 2531
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。百度百科-验证。
ambari安装部署教程
legend_host的博客
01-22 1246
此次安装运行系统为Linux7.3版本 准备7台Linux7.3系统的虚拟机  在7台机器上执行：关闭防火墙 systemctl stop iptables;systemctl disable iptables  做多机互信，在第一台机器执行   产生秘钥文件    ssh-keygen -t rsa -f /root/.ssh/id_rsa -N ''    cp /ro
ambari+bigtop大数据平台安装部署指南
07-27
Ambari是Apache软件基金会下的一个子项目，是一个开源的管理和监控Hadoop集群的工具。而Bigtop是一个Apache软件基金会下的开源项目，主要用于构建，测试和部署大数据平台。 Ambari Bigtop大数据平台安装部署指南主要包括以下几个步骤： 1. 准备工作：在开始安装之前，需要确保系统已经安装了合适的操作系统和相关的依赖软件，如Java、SSH等。此外，还需要确定网络环境是否能够正常访问所需的软件源和资源。 2. 下载和安装Ambari：从Ambari官方网站上下载适用于目标操作系统的Ambari软件包。安装Ambari时，需要注意选择合适的数据库和用户认证方式。 3. 配置Ambari服务器：根据实际需求，对Ambari服务器进行配置。一般需要设置主机名和端口号等基本信息，并选择适当的安装选项。 4. 启动Ambari服务器：启动Ambari服务器后，可以通过浏览器访问Ambari web界面，并使用默认的用户名和密码登录。登录成功后，可以进行集群的配置和管理。 5. 创建集群：使用Ambari web界面创建新的集群。在创建集群时，需要指定集群的名称，选择合适的Hadoop分发版本和相应的服务组件。 6. 配置集群：根据需要，配置集群中各个节点的主机名、IP地址、SSH访问等信息，并为各个服务组件分配合适的角色。 7. 安装集群：在配置完成后，可以开始安装集群。Ambari会自动根据所选的服务组件和配置要求，安装相应的软件包并启动服务。 8. 部署集群：安装完成后，可以对集群进行进一步的配置和优化。可以为各个服务组件设置参数，并在需要时添加额外的节点和组件。 9. 监控和管理：Ambari提供了丰富的监控和管理功能，可以用于实时监控集群的运行状态、性能参数等。还可以进行服务的启停、组件的升级等操作。 10. 测试和维护：在部署完成后，还需要进行一些测试和维护工作。可以运行一些测试工具对集群进行测试，以确保其正常运行。同时，定期进行安全和性能优化等维护工作也是非常重要的。 通过遵循Ambari Bigtop大数据平台安装部署指南，用户可以快速搭建和部署大数据平台，实现集群的管理和监控，为大数据处理提供便利和支持。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Five.(ง •̀_•́)ง

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值