Ambari 安装部署教程(手把手教学）【超级详细】

置顶 已于 2024-05-07 13:42:41 修改
阅读量4.4k 收藏 54
点赞数 52
分类专栏： 课设项目 文章标签： ambari php 服务器
于 2024-01-06 18:26:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74070923/article/details/135429146
版权

Ambari 的安装部署

这里有详细的Ambari的安装部署，快来围观，保证成功！

成功了别忘了关注一下我哈

1. CentOS7 虚拟机安装

准备3台CentOS7虚拟机【设置root密码为 123456】
（以下步骤可以先在1台机器操作，然后克隆2台，最后再修改IP）
进入安装程序:
在这里插入图片描述

直接下载
在这里插入图片描述
直接Continue
时区改到上海
在这里插入图片描述在这里插入图片描述
选择手动分盘
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

设置root用户密码（123456）
在这里插入图片描述

等待安装完成
在这里插入图片描述

2.虚拟机环境设置

1.配置网卡

vi etc/sysconfig/network-scripts/ifcfg-ens33

#修改配置文件

BOOTPROTO=static 
ONBOOT=yes 
#添加以下内容 
IPADDR=192.168.222.171 
NETMASK=255.255.255.0 
GATEWAY=192.168.222.2 
DNS1=8.8.8.8

2.重新启动网络配置

service network restart

3.测试网络是否畅通(本地PING 虚拟机IP)

4.更改主机名

hostnamectl set-hostname hdp01

5.配置FQDN（所有节点）

vi /etc/sysconfig/network

NETWORKING=yes 

HOSTNAME=hdp01.bigdata.com（自己随便设，保证前后一致就行）

6.克隆其他节点

完整克隆hdp01,修改主机名hdp02,hdp03

7.更改hosts，添加主机映射

vi /etc/hosts

192.168.222.171 hdp01.bigdata.com hdp01 
192.168.222.172 hdp02.bigdata.com hdp02 
192.168.222.173 hdp03.bigdata.com hdp03

8.关闭防火墙

#关闭防火墙

 systemctl stop firewalld

#关闭防火墙开机自启

systemctl disable firewalld

#通过此命令查看防火墙状态

systemctl status firewalld

9.关闭SELINUX

#关闭SELINUX(master node)

setenforce 0

（所有节点）
vi /etc/selinux/config

#SELINUX=enforcing修改为

SELINUX=disabled

#重启系统

shutdown -r now

#查看selinux状态

getenforce

disabled为永久关闭，permissive为临时关闭，enforcing为开启

10.安装JDK8

1.上传并解压压缩包

mkdir /data/tars
tar -zxvf /data/tars/jdk-8u171-linux-x64..gz -C /opt

2.配置环境变量
vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

3.更新配置

source /etc/profile

4.验证

[root@hdp01 ~]# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

10.Check the Maximum Open File Descriptors（所有节点）

ulimit -Sn
ulimit -Hn

#如果以上命令显示数量小于10000，建议调成10000（公司是65535，这里是虚拟机就写少一点吧）

ulimit -n 10000

3.SSH 免密登陆配置

1.各个机器执行

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

chmod 600 ~/.ssh/authorized_keys

2.把各个主机上公钥id_rsa.pub文件内容放到各个主机authorized_keys中
#hdp01

scp ~/.ssh/id_rsa.pub root@192.168.222.172:/root/.ssh/id_rsa.pub.hdp01
scp ~/.ssh/id_rsa.pub root@192.168.222.173:/root/.ssh/id_rsa.pub.hdp01

#hdp02

scp ~/.ssh/id_rsa.pub root@192.168.222.171:/root/.ssh/id_rsa.pub.hdp02
scp ~/.ssh/id_rsa.pub root@192.168.222.173:/root/.ssh/id_rsa.pub.hdp02

#hdp03

scp ~/.ssh/id_rsa.pub root@192.168.222.172:/root/.ssh/id_rsa.pub.hdp03

scp ~/.ssh/id_rsa.pub root@192.168.222.171:/root/.ssh/id_rsa.pub.hdp03

#hdp01

cat ~/.ssh/id_rsa.pub.hdp02 >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub.hdp03 >> ~/.ssh/authorized_keys

#hdp02

cat ~/.ssh/id_rsa.pub.hdp01 >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub.hdp03 >> ~/.ssh/authorized_keys

#hdp03

cat ~/.ssh/id_rsa.pub.hdp02 >> ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub.hdp01 >> ~/.ssh/authorized_keys

3.测试是否可以相互SSH成功

ssh hdp01 
exit 

ssh hdp02 
exit 

ssh hdp03 
exit

4.时间同步

选一台服务器作时间服务器，这里以 hdp01 作为时间服务器，其他服务器以时间服务器时间为准。

hdp01(时间服务器)
1.安装 ntp 服务（三台均安装）

yum install -y ntp

2.修改 ntp 配置文件

vi  /etc/ntp.conf

#根据自己机器的情况，设置允许 hdp02 和 hdp03 机器可以从这台机器上查询和同步时间

restrict hdp02 mask 255.255.255.0 nomodify notrap
restrict hdp03 mask 255.255.255.0 nomodify notrap

#注释以下代码

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

#添加（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

server 127.127.1.0
fudge 127.127.1.0 stratum 10

hdp02和hdp003分别加上

restrict 192.168.222.171 nomodify notrap noquert
server 192.168.222.171

3.启动ntp服务并设置开机自启

#启动ntpd服务
systemctl start ntpd

#配置ntpd服务开机自启
systemctl enable ntpd

hdp02、hdp03
1.安装 ntpdate 服务
yum install -y ntpdate

2.同步时间
ntpdate hdp01

3.定时同步时间
crontab -e

#添加如下内容
#每小时的第29分和59分同步一次时间

29,59 * * * * /usr/sbin/ntpdate hdp01

5.安装 http 服务

这里将 hdp01 作为 http 服务器。
#安装服务
yum -y install httpd

#启动服务
systemctl start httpd

#将httpd加入到开机自启
systemctl enable httpd

6.配置 yum 源

1.将Amber、HDP、HDP-UTILS文件上传到 hdp01 ，并解压

#先在/var/www/html目录下创建ambari、hdp、hdp-utils文件夹

mkdir /var/www/html/ambari
mkdir /var/www/html/hdp
mkdir /var/www/html/hdp-utils

#解压文件

tar -zxvf /data/tars/ambari-2.7.4.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf /data/tars/HDP-3.1.4.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf /data/tars/HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp-utils/

2.配置ambari的yum源

vi /etc/yum.repos.d/ambari.repo

#添加以下内容
[ambari]

name=ambari
baseurl=http://192.168.222.171/ambari/ambari/centos7/2.7.4.0-118/
gpgcheck=0

3.配置hdp和hdp-utils的yum源

vi /etc/yum.repos.d/hdp.repo

#添加以下内容

[HDP-3.1]
name=HDP-3.1
baseurl=http://192.168.222.171/hdp/HDP/centos7/3.1.4.0-315/
gpgcheck=0
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.222.171/hdp-utils/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0

4.验证
yum repolist

5.分发 yum 文件到 hdp02 和 hdp03

scp /etc/yum.repos.d/ambari.repo hdp02:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo hdp02:/etc/yum.repos.d/

scp /etc/yum.repos.d/ambari.repo hdp03:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo hdp03:/etc/yum.repos.d/

7.安装 MySQL

只在hdp01上安装

yum -y install wget

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

上传mysql57-community-release-el7-8.noarch.rpm文件

rpm -ivh mysql57-community-release-el7-8.noarch.rpm  --nodeps --force

yum install mysql-server

service mysqld status

systemctl start mysqld

MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到：

grep 'temporary password' /var/log/mysqld.log

mysql -u root -p
mysql> Enter password: （输入刚才查询到的随机密码）
mysql> SET PASSWORD FOR 'root'@'localhost'= "Root-123";
mysql> exit

用root新密码登录：

mysql -u root -pRoot-123

配置远程登录
允许使用用户名 root 密码 Root-123456 从任何主机连接到mysql服务器

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Root-123456' WITH GRANT OPTION;
mysql>FLUSH PRIVILEGES;
mysql>exit;

创建ambari数据库及用户，登录root用户执行下面语句：

create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

安装mysql jdbc 驱动

yum install mysql-connector-java

8.安装本地源制作相关工具

yum install yum-utils createrepo

在所有节点都要更新源

yum clean all

yum makecache

yum repolist

9.安装Ambari

yum install ambari-server

配置Ambari

ambari-server setup

JAVA_HOME:填存在的Java地址
/opt/jdk1.8.0_171
在这里插入图片描述
在这里插入图片描述

数据库密码填写之前设置的密码:Ambari-123
在这里插入图片描述

初始化数据库

mysql -uambari –pAmbari-123
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
exit;

启动ambari

ambari-server start
在这里插入图片描述

登录

浏览器输入：http://192.168.222.171:8080
在这里插入图片描述

默认用户名/密码：admin/admin

创建集群

命名集群

在这里插入图片描述
在这里插入图片描述

选择版本

在这里插入图片描述

删除掉除了"Redhat7"之外的其他操作系统（这里选择redhat7，因为是CentOS7系统）
在这里插入图片描述

填写刚才配置的repo文件中的地址

http://hdp01/hdp/HDP/centos7/3.1.4.0-315/ 
http://hdp01/hdp-utils/HDP-UTILS/centos7/1.1.0.22/
注册主机

在这里插入图片描述

通过cat /root/.ssh/id_rsa查看私钥内容。
直接copy
在这里插入图片描述

安装服务

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参数配置

在这里插入图片描述
在这里插入图片描述

检查

在这里插入图片描述

安装进度

在这里插入图片描述

安装概要

在这里插入图片描述

静静等待
SUCCESS即成功
在这里插入图片描述

查看仪表盘

在这里插入图片描述

补充

要安装hive组件的额外操作：

具体设置hive元数据存放位置（这里新建一个库来放）

#登录数据库
mysql -uroot -pRoot-123
#创建hive元数据库
mysql> create database hive;
#创建hive用户

mysql>  CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
#授权
mysql>  grant all on hive.* to hive@'%' identified by 'hive';
mysql>  grant all on hive.* to hive@localhost identified by 'hive';

注意：

经常会在启动ambari的时候登录不了界面：
需要查看日志排查错误：
tail -200 /var/log/ambari-server/ambari-server.log
在这里插入图片描述

在网上搜索解决办法，对症解决

创作不易，关注一波

小伍_Five
关注
  • 52
    点赞
  • 踩
  • 54
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
Ambari原理与代码实例讲解
禅与计算机程序设计艺术
06-15 300
Ambari原理与代码实例讲解 1. 背景介绍 Apache Ambari 是一个开源的大数据集群管理工具,用于简化 Apache Hadoop 生态系统中的软件安装、配置、集群管理和监控等操作。在大数据时代,随着数据量的快速增长和分析需求的不断扩大,单机系统已经无法满足企业的需求。因此,构
【项目实战】基于Web的管理和监控Hadoop集群工具——Ambari入门介绍
本本本添哥
03-22 1675
Apache Ambari是一种基于Web的工具，它提供了一个易于使用的Web界面 ，是一个强大的开源的集群管理工具，它可以帮助管理员轻松管理和监控Hadoop集群，支持Apache Hadoop集群的供应、管理和监控。
Ambari2.75安装及HDP3.1.5集群搭建.pdf
11-09
Ambari2.75安装及HDP3.1.5集群搭建.pdf
Ambari简介&安装
月苍的博客
01-09 3066
简介 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。 就 Ambari 的作用来说，就是创建、管理、
ambari 安装及使用ambari安装hadoop记录
yujianbujianqwe的博客
08-15 2044
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。百度百科-验证。
ambari全攻略流程，认识ambari（一）
u010025966的博客
08-16 7219
ambari介绍 Apache Ambari 项目旨在通过开发用于供应、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI，由其 RESTful API 提供支持。 Ambari 使系统管理员能够： 配置 Hadoop 集群 – Ambari 提供了一个分步向导，用于在任意数量的主机上安装 Hadoop 服务。 – Ambari 为集群处理 Hadoop 服务的配置。 管理 Hadoop 集群 – Amb
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
04-13
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
Ambari 详细使用案例
qq_37480069的博客
05-24 2083
Ambari 是一款开源的工具，旨在帮助用户管理和监控 AWS 云环境中的虚拟机、容器和其他资源。它提供了一个易于使用的界面，可以帮助用户快速部署和管理云环境中的资源。部署和管理虚拟机和容器。监控和管理云环境中的资源。提供易于使用的界面和 API，方便用户进行资源的管理和监控。支持多种 AWS 服务，如 EC2、EBS、ELB 等。
基于Ambari搭建大数据分析平台
最新发布
tangyi2008的专栏
03-13 2987
大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。手工方式太过复杂，是一个艰辛的过程，在企业应用中，一般采用工具部署方式。Ambari和Cloudera Manager这两个系统，目的就是简化Hadoop生态集群的安装、配置，同时提高Hadoop运维效率，以及对Hadoop集群进行监控。
什么是Ambari?
weixin_48331187的博客
10-08 627
它提供了一种可扩展的框架来管理大型Hadoop集群，支持Hadoop上许多组件和服务的安装、配置、管理和监控。3. 配置服务检查：使用Ambari Web界面配置服务检查，即指定要监控的服务和相应的检查项。Ambari是一个Hadoop集群管理工具，它提供了监控和告警的功能来帮助用户实时监控集群的运行状态，并在出现问题时发送通知。1. 安装Ambari Agent：在Hadoop集群的每个节点上安装Ambari Agent，该Agent会定期收集节点的指标数据和日志。
ambari安装部署教程
legend_host的博客
01-22 1200
此次安装运行系统为Linux7.3版本 准备7台Linux7.3系统的虚拟机  在7台机器上执行：关闭防火墙 systemctl stop iptables;systemctl disable iptables  做多机互信，在第一台机器执行   产生秘钥文件    ssh-keygen -t rsa -f /root/.ssh/id_rsa -N ''    cp /ro
Ambari 2.6.0 安装部署文档
01-14
Ambari Hadoop & Spark安装部署文档，Ambari在线安装与问题解决
Ambari2.7.3+HDP3.1.0安装部署详细步骤说明文档 .docx
05-22
Ambari2.7.3+HDP3.1.0基础集群搭建，步骤详细，已实践验证过，搭建成功完成，分享给需要的人
ambari安装部署-亲测可用
02-19
ambari安装部署-自己亲自部署测试可用，合适初步搭建参考
RedHat6.4全自动安装Ambari2.6.0详细教程(图文一步步)
11-23
在本教程中，我们将深入探讨如何在RedHat 6.4 (CentOS兼容)系统上进行Ambari 2.6.0的全自动安装。Ambari是Hortonworks提供的一个强大工具，用于管理和监控Hadoop生态系统，包括Hadoop、HBase、YARN等组件。以下是一...
Ambari详细安装步骤
热门推荐
weixin_43456293的博客
12-20 1万+
Ambari详细安装步骤 一.安装前的准备 （前言：先使用ios镜像文件创建一个新的虚拟机，建议至少虚拟机配置5G，硬盘50GB，一个空的虚拟机可能会遇到vi编辑器上下左右出现ABCD乱码问题，vmtools工具未安装，虚拟机ip地址重启自动更改等问题，请大家耐心按照关键字自行百度解决） 1.下载相应安装包 所有依赖的安装包及下载地址可从下面的网址获取： https://docs.hortonwo...
Ambari自动部署hadoop
小郑
06-26 1843
Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理.Ambari提供了一个由RESTful API支持的直观，易用的Hadoop管理Web Ul。Ambari使系统管理员能够:提供Hadoop集群Ambari提供了跨任意数量的主机安装Hadoop服务的分步向导Ambari处理集群的Hadoop服务配置管理Hadoop集群。
ambari全攻略流程，安装ambari（二）
u010025966的博客
08-16 3159
ambari安装
ambari+bigtop大数据平台安装部署指南
07-27
Ambari是Apache软件基金会下的一个子项目，是一个开源的管理和监控Hadoop集群的工具。而Bigtop是一个Apache软件基金会下的开源项目，主要用于构建，测试和部署大数据平台。 Ambari Bigtop大数据平台安装部署指南主要包括以下几个步骤： 1. 准备工作：在开始安装之前，需要确保系统已经安装了合适的操作系统和相关的依赖软件，如Java、SSH等。此外，还需要确定网络环境是否能够正常访问所需的软件源和资源。 2. 下载和安装Ambari：从Ambari官方网站上下载适用于目标操作系统的Ambari软件包。安装Ambari时，需要注意选择合适的数据库和用户认证方式。 3. 配置Ambari服务器：根据实际需求，对Ambari服务器进行配置。一般需要设置主机名和端口号等基本信息，并选择适当的安装选项。 4. 启动Ambari服务器：启动Ambari服务器后，可以通过浏览器访问Ambari web界面，并使用默认的用户名和密码登录。登录成功后，可以进行集群的配置和管理。 5. 创建集群：使用Ambari web界面创建新的集群。在创建集群时，需要指定集群的名称，选择合适的Hadoop分发版本和相应的服务组件。 6. 配置集群：根据需要，配置集群中各个节点的主机名、IP地址、SSH访问等信息，并为各个服务组件分配合适的角色。 7. 安装集群：在配置完成后，可以开始安装集群。Ambari会自动根据所选的服务组件和配置要求，安装相应的软件包并启动服务。 8. 部署集群：安装完成后，可以对集群进行进一步的配置和优化。可以为各个服务组件设置参数，并在需要时添加额外的节点和组件。 9. 监控和管理：Ambari提供了丰富的监控和管理功能，可以用于实时监控集群的运行状态、性能参数等。还可以进行服务的启停、组件的升级等操作。 10. 测试和维护：在部署完成后，还需要进行一些测试和维护工作。可以运行一些测试工具对集群进行测试，以确保其正常运行。同时，定期进行安全和性能优化等维护工作也是非常重要的。 通过遵循Ambari Bigtop大数据平台安装部署指南，用户可以快速搭建和部署大数据平台，实现集群的管理和监控，为大数据处理提供便利和支持。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小伍_Five

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值