ambari安装详细

最新推荐文章于 2023-05-17 10:59:15 发布
最新推荐文章于 2023-05-17 10:59:15 发布
阅读量1.7k 收藏 8
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wolongsuxing/article/details/103386842
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接： https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86595945 
            </div>
                                                <!--一个博主专栏付费入口-->
                      <!--一个博主专栏付费入口结束-->
        <link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-833878f763.css">
                                    <div id="content_views" class="markdown_views prism-atom-one-dark">
                <!-- flowchart 箭头图标 勿删 -->
                <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                    <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                </svg>
                                        <p></p><div class="toc"><h3><a name="t0"></a><a name="t0"></a>文章目录</h3><ul><li><a href="#1__1" rel="nofollow" target="_self">1. 介绍</a></li><ul><li><a href="#11_Ambari_2" rel="nofollow" target="_self">1.1 Ambari</a></li><li><a href="#12_HDP_5" rel="nofollow" target="_self">1.2 HDP</a></li><li><a href="#13_HDPUTILS_7" rel="nofollow" target="_self">1.3 HDP-UTILS</a></li></ul><li><a href="#2__9" rel="nofollow" target="_self">2. 准备工作</a></li><ul><li><a href="#21_AmbariHDP_10" rel="nofollow" target="_self">2.1 Ambari、HDP版本介绍</a></li><li><a href="#22__14" rel="nofollow" target="_self">2.2 搭建环境准备</a></li><ul><li><a href="#221__15" rel="nofollow" target="_self">2.2.1 软件要求</a></li><li><a href="#222__26" rel="nofollow" target="_self">2.2.2 软件下载（在下载的过程中，建议使用迅雷下载）</a></li></ul><li><a href="#23__34" rel="nofollow" target="_self">2.3 集群节点规划准备</a></li></ul><li><a href="#3__41" rel="nofollow" target="_self">3. 搭建虚拟机</a></li><ul><li><a href="#31_yumhdp_43" rel="nofollow" target="_self">3.1 搭建yum.hdp虚拟机</a></li><li><a href="#32_yumhdp_106" rel="nofollow" target="_self">3.2 配置yum.hdp虚拟机</a></li><ul><li><a href="#321_IP_107" rel="nofollow" target="_self">3.2.1 配置静态IP</a></li><li><a href="#322__122" rel="nofollow" target="_self">3.2.2 防火墙设置</a></li><li><a href="#323_hostname_131" rel="nofollow" target="_self">3.2.3 设置hostname</a></li><li><a href="#324_yum_138" rel="nofollow" target="_self">3.2.4 设置阿里开源镜像yum源</a></li><li><a href="#325_ntp_143" rel="nofollow" target="_self">3.2.5 安装时间同步服务（ntp）</a></li><li><a href="#326_JDK_152" rel="nofollow" target="_self">3.2.6 安装并配置JDK</a></li><li><a href="#327_SelinuxTHPTHPHadoopCPU_163" rel="nofollow" target="_self">3.2.7 关闭Selinux和THP（如果不关闭THP，Hadoop的系统CPU使用率很高）</a></li><li><a href="#328__189" rel="nofollow" target="_self">3.2.8 最大打开文件要求</a></li></ul><li><a href="#33_yumhdp_200" rel="nofollow" target="_self">3.3 克隆yum.hdp虚拟机</a></li><ul><li><a href="#331__203" rel="nofollow" target="_self">3.3.1 开始克隆</a></li><li><a href="#332__221" rel="nofollow" target="_self">3.3.2 修改参数</a></li><li><a href="#333_nd00hdpmysql_233" rel="nofollow" target="_self">3.3.3 在nd-00.hdp虚拟机上安装mysql</a></li><li><a href="#334_mysqlDB_274" rel="nofollow" target="_self">3.3.4 在mysql数据库创建相应的用户和DB</a></li><li><a href="#335__330" rel="nofollow" target="_self">3.3.5 免密登录</a></li></ul></ul><li><a href="#4_yumhdpAmbari_347" rel="nofollow" target="_self">4. 在yum.hdp上安装Ambari</a></li><ul><li><a href="#41_yum_348" rel="nofollow" target="_self">4.1 安装yum相关工具</a></li><li><a href="#42_Apache_httpd_354" rel="nofollow" target="_self">4.2 安装Apache httpd</a></li><li><a href="#43__Repo_380" rel="nofollow" target="_self">4.3 配置本地 Repo</a></li><ul><li><a href="#431_Ambari_381" rel="nofollow" target="_self">4.3.1 配置Ambari</a></li><li><a href="#431_HDPHDPUTILS_388" rel="nofollow" target="_self">4.3.1 配置HDP和HDP-UTILS</a></li><li><a href="#432_AmbarirepoHDPrepo_411" rel="nofollow" target="_self">4.3.2 分发Ambari.repo和HDP.repo</a></li><li><a href="#433__418" rel="nofollow" target="_self">4.3.3 生成本地源</a></li></ul></ul><li><a href="#5_AmbariServer_445" rel="nofollow" target="_self">5. 安装Ambari-Server</a></li><ul><li><a href="#51_nd00hdp__446" rel="nofollow" target="_self">5.1 nd-00.hdp 节点安装</a></li><li><a href="#52_AmbariServer_665" rel="nofollow" target="_self">5.2 启动Ambari-Server</a></li><li><a href="#53_Agent_683" rel="nofollow" target="_self">5.3 安装Agent</a></li><li><a href="#54_Ambari_web_689" rel="nofollow" target="_self">5.4 访问Ambari web页面</a></li></ul><li><a href="#6__693" rel="nofollow" target="_self">6. 开始安装集群</a></li></ul></div><p></p>

1. 介绍

1.1 Ambari

  • Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper 等）， 而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
  • Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的 GUI，方便用户了解到集群的各种状态，并进行相应的维护。

1.2 HDP

  • HDP是hortonworks的软件栈，里面包含了hadoop生态系统的所有软件项目，比如HBase,Zookeeper,Hive,Pig等等。

1.3 HDP-UTILS

  • HDP-UTILS是工具类库。

2. 准备工作

2.1 Ambari、HDP版本介绍

2.2 搭建环境准备

2.2.1 软件要求

组件描述
虚拟操作系统Centos7.5
Ambari2.7.3
HDP3.1.0.0
HDP-GPL3.1.0.0
HDP-UTILS1.1.0.22
MySQL5.7
OracleJDK8JDK 1.8.0_77
X86X86-64

2.2.2 软件下载（在下载的过程中，建议使用迅雷下载）

2.3 集群节点规划准备

HostnameIPFunctions内存磁盘
yum.hdp192.168.121.77Ambari/HDP packages1G50G
nd-00.hdp192.168.121.100Ambari Server3G50G
nd-01.hdp192.168.121.101Compute node2G50G
nd-02.hdp192.168.121.102Compute node2G50G

3. 搭建虚拟机

  • 搭建yum.hdp虚拟机，然后完成克隆，虚拟机搭建完毕。

3.1 搭建yum.hdp虚拟机

  • 打开VMwear选择新建虚拟机
    在这里插入图片描述
  • 选择自定义安装
    在这里插入图片描述
  • 虚拟机兼容性选择
    在这里插入图片描述
  • 选择稍后安装操作系统
    在这里插入图片描述
  • 操作系统的选择
    在这里插入图片描述
  • 虚拟机位置与命名
    在这里插入图片描述
  • 处理器与内存的分配
    在这里插入图片描述
    在这里插入图片描述
  • 网络连接类型的选择（NAT）
    在这里插入图片描述
  • 后两项按虚拟机默认即可
    在这里插入图片描述
    在这里插入图片描述
  • 创建磁盘，选择容量
    在这里插入图片描述
    在这里插入图片描述
  • 磁盘名称，默认即可
    在这里插入图片描述
  • 取消不需要的硬件，自定义硬件
    在这里插入图片描述
  • 选择不需要的硬件声卡、打印机等然后移除
    在这里插入图片描述
  • 点击完成
    在这里插入图片描述
  • 在“我的计算机”下，新建文件夹Ambari管理集群服务器
    在这里插入图片描述
    在这里插入图片描述
  • 安装CentOS，选择ISO镜像文件
    在这里插入图片描述
  • 开启虚拟机，安装操作系统，选择第一项，安装直接CentOS 7，回车
    在这里插入图片描述
  • 选择英文、键盘选择美式键盘，点击Continue。
    在这里插入图片描述
  • 设置时间，时区选择上海
    在这里插入图片描述
    在这里插入图片描述
  • 选择需要安装的软件默认minimal，然后点击Done
    在这里插入图片描述
    在这里插入图片描述
  • 选择安装位置
    在这里插入图片描述
    在这里插入图片描述
  • 最后选择Begin Installation(开始安装)
    在这里插入图片描述
  • 设置root密码，点击Done
    在这里插入图片描述
    在这里插入图片描述
  • 点击USER CREATION 创建管理员用户，输入用户名密码后点击Done（可以不创建，搭建集群的过程中使使用不到此账户）
    在这里插入图片描述
  • 等待系统安装完毕，重启系统
    在这里插入图片描述
    在这里插入图片描述
  • 登录，安装完毕
    在这里插入图片描述

3.2 配置yum.hdp虚拟机

3.2.1 配置静态IP

  • 打开“编辑-虚拟网络编辑器-更改设置”
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 打开文件：vi /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述
  • 修改文件如下：
    在这里插入图片描述
  • 重启：service network start
    在这里插入图片描述
  • 查看：ifconfig【安装命令：yum -y install net-tools】
    在这里插入图片描述
  • ping www.baidu.com
    在这里插入图片描述

3.2.2 防火墙设置

  • 查看防火墙的状态：systemctl status firewalld.service
    在这里插入图片描述
  • 关闭防火墙：systemctl stop firewalld.service
    在这里插入图片描述
  • 设置开机不启动：systemctl disable firewalld.service
    在这里插入图片描述
  • 查看防火墙服务是否设置开机启动：systemctl is-enabled firewalld.service
    在这里插入图片描述

3.2.3 设置hostname

  • 设置hosts：vi /etc/hosts
    在这里插入图片描述
  • 修改：vi /etc/sysconfig/network
    在这里插入图片描述
  • 执行：hostnamectl set-hostname yum.hdp
    在这里插入图片描述

3.2.4 设置阿里开源镜像yum源

3.2.5 安装时间同步服务（ntp）

  • 安装：yum install -y ntp
    在这里插入图片描述
  • 启动并查看状态：
    systemctl start ntpd.service
    systemctl status ntpd.service
    在这里插入图片描述
  • 设置开机自启：systemctl enable ntpd.service
    在这里插入图片描述

3.2.6 安装并配置JDK

  • 使用Xshell操作上传 jdk安装包：rz【安装：yum install lrzsz】
    在这里插入图片描述
  • 创建目录：mkdir /usr/java
  • 解压至/usr/java目录
    tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/java/
    在这里插入图片描述
  • 配置环境变量 vim /etc/profile
    在这里插入图片描述
  • 使环境变量立即生效命令：source /etc/profile
    在这里插入图片描述

3.2.7 关闭Selinux和THP（如果不关闭THP，Hadoop的系统CPU使用率很高）

  • 查看状态：sestatus
    在这里插入图片描述
  • 关闭：vim /etc/sysconfig/selinux
    在这里插入图片描述
  • 如果出现下述结果说明启动了THP
[root@yum ~]# cat /sys/kernel/mm/transparent_hugepage/defrag 
[always] madvise never
[root@yum ~]# cat /sys/kernel/mm/transparent_hugepage/enabled 
[always] madvise never

 
 

 
 
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

  • 永久关闭：vim /etc/rc.d/rc.local
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
        echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
        echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在这里插入图片描述

  • 保存退出，然后赋予rc.local文件执行权限：chmod +x /etc/rc.d/rc.local
  • 重启：reboot
    在这里插入图片描述

3.2.8 最大打开文件要求

  • 建议的最大打开文件描述符数为10000或更多。要检查为最大打开文件描述符数设置的当前值，请在每个主机上执行以下shell命令：
ulimit -Sn
ulimit -Hn

 
 

 
 
  • 1
  • 2
  • 如果输出不大于10000，请运行以下命令将其设置为合适的默认值：
ulimit -n 10000

 
 

 
 
  • 1

在这里插入图片描述

3.3 克隆yum.hdp虚拟机

  • 克隆虚拟机之前，保证当前虚拟机处于关闭状态，并修改镜像
    在这里插入图片描述

3.3.1 开始克隆

  • 虚拟机-管理-克隆
    在这里插入图片描述
  • 下一步
    在这里插入图片描述
  • 虚拟机中的当前状态
    在这里插入图片描述
  • 创建完整克隆
    在这里插入图片描述
  • 修改虚拟机名称和存储位置
    在这里插入图片描述
  • 完成，关闭
    在这里插入图片描述
    在这里插入图片描述
  • 按照相同步骤，克隆多台虚拟机
    在这里插入图片描述
  • 修改nd-00/01/02.hdp等克隆出来的所有虚拟机mac地址
    在这里插入图片描述

3.3.2 修改参数

  • 启动nd-00.hdp，nd-01.hdp，nd-02.hdp虚拟机，并修改虚拟机的IP地址
  • vi /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述
  • 重启network：service network start
    在这里插入图片描述
  • 修改虚拟机hostname（好像不生效）：vi /etc/sysconfig/network
    在这里插入图片描述
  • 修改虚拟机hostname：hostnamectl set-hostname nd-00.hdp
    在这里插入图片描述
  • 关闭虚拟机，并重新分配内存

3.3.3 在nd-00.hdp虚拟机上安装mysql

  • 下载并安装mysql【yum install wget】
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server

 
 

 
 
  • 1
  • 2
  • 3
  • 启动mysql并设置开机自启
systemctl start mysqld.service    # 启动mysql
systemctl status mysqld.service  # 查看mysql状态
systemctl stop mysqld.service   # 关闭mysql
systemctl enable mysqld.service   # 开机自启

 
 

 
 
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述

  • 此时MySQL已经开始正常运行，不过要想进入MySQL还得先找出此时root用户的密码，通过如下命令可以在日志文件中找出密码：grep ‘password’ /var/log/mysqld.log
    在这里插入图片描述
  • 输入初始密码，此时不能做任何事情，因为MySQL默认必须修改密码之后才能操作数据库
set global validate_password_policy=0;
set global validate_password_length=1;
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123';

 
 

 
 
  • 1
  • 2
  • 3

在这里插入图片描述

  • 但此时还有一个问题，就是因为安装了Yum Repository，以后每次yum操作都会自动更新，需要把这个卸载掉
yum -y remove mysql57-community-release-el7-10.noarch

 
 

 
 
  • 1
  • 配置mysql编码，字符格式：vim /etc/my.cnf
在[mysqld]下添加
collation_server=utf8_general_ci
character_set_server=utf8
default-storage-engine=INNODB
在[client]下添加（如果没有[client]，则创建）
default_character-set=utf8

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在这里插入图片描述

  • 重启mysql服务：systemctl restart mysqld.service
  • 查看字符集： show variables like ‘character_set_%’;
    在这里插入图片描述

3.3.4 在mysql数据库创建相应的用户和DB

  • 创建ambari数据库及数据库的用户名和密码
mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=1;
mysql> create database ambari character set utf8;
Query OK, 1 row affected (0.00 sec)
mysql> CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari123';
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.01 sec)

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 创建hive数据库及hive库的用户名和密码
mysql> create database hive character set utf8;
Query OK, 1 row affected (0.00 sec)
mysql> CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive123';
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.01 sec)

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 创建oozie数据库及oozie库的用户名和密码
mysql> create database oozie character set utf8;
Query OK, 1 row affected (0.00 sec)
mysql> CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie123';
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON oozie.* TO 'oozie'@'%';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.01 sec)

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 创建ranger数据库及ranger库的用户名和密码（不用创建）
mysql> create database ranger character set utf8;
Query OK, 1 row affected (0.04 sec)
mysql> CREATE USER 'rangeradmin'@'%'IDENTIFIED BY 'Ranger123';
Query OK, 0 rows affected (0.18 sec)
mysql> GRANT ALL PRIVILEGES ON rangeradmin.* TO 'rangeradmin'@'%';
Query OK, 0 rows affected (0.02 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.04 sec)

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

在这里插入图片描述

  • 下载mysql-connection-java：
yum install mysql-connector-java

 
 

 
 
  • 1
  • 查看下载后的jar包，看目录中是否有mysql-connector-java:
ls /usr/share/java

 
 

 
 
  • 1

3.3.5 免密登录

  • 配置本地hosts文件
    在这里插入图片描述
    在这里插入图片描述
  • nd-00.hdp ⇒ 00，01，02的免密登录：
[root@nd-00 ~]# ssh-keygen -t rsa		# 一路回车
[root@nd-00 ~]# ssh-copy-id nd-00.hdp	# 输入密码
[root@nd-00 ~]# ssh-copy-id nd-01.hdp	# 输入密码
[root@nd-00 ~]# ssh-copy-id nd-02.hdp	# 输入密码

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • nd-01.hdp ⇒ 01，02的免密登录：
[root@nd-01 ~]# ssh-keygen -t rsa		# 一路回车
[root@nd-01 ~]# ssh-copy-id nd-01.hdp	# 输入密码
[root@nd-01 ~]# ssh-copy-id nd-02.hdp	# 输入密码

 
 

 
 
  • 1
  • 2
  • 3

4. 在yum.hdp上安装Ambari

4.1 安装yum相关工具

[root@yum ~]# yum install yum-utils -y
[root@yum ~]# yum repolist
[root@yum ~]# yum install createrepo -y

 
 

 
 
  • 1
  • 2
  • 3

4.2 安装Apache httpd

  • 使用yum在线安装httpd：上传下载文件（借助xftp工具）
    在这里插入图片描述
[root@yum ~]# yum install httpd -y

 
 

 
 
  • 1
  • 安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps目录），进入到/var/www/html目录下，创建ambari和hdp目录，用来存放安装文件。
[root@yum ~]# mkdir /var/www/html/ambari
[root@yum ~]# mkdir /var/www/html/hdp
[root@yum ~]# mkdir /var/www/html/hdp/HDP-UTILS-1.1.0.22
[root@yum ~]# tar -zxvf ambari-2.7.3.0-centos7.tar.gz -C /var/www/html/ambari/
[root@yum ~]# tar -zxvf HDP-3.1.0.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
[root@yum ~]# tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 启动httpd服务：
[root@yum ~]# systemctl start httpd		# 启动httpd
[root@yum ~]# systemctl status httpd		# 查看httpd状态
[root@yum ~]# systemctl enable httpd	# 设置httpd开机自启

 
 

 
 
  • 1
  • 2
  • 3

在这里插入图片描述

  • 默认端口80，浏览器输入：http://192.168.121.77
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

4.3 配置本地 Repo

4.3.1 配置Ambari

  • 下载
wget -O /etc/yum.repos.d/ambari.repo http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo

 
 

 
 
  • 1
  • 修改配置文件：vim /etc/yum.repos.d/ambari.repo
    在这里插入图片描述

4.3.1 配置HDP和HDP-UTILS

  • 创建配置文件：[root@yum yum.repos.d]# touch /etc/yum.repos.d/HDP.repo
    在这里插入图片描述
  • 添加内容
#VERSION_NUMBER=3.1.0.0-78
[HDP-3.1.0.0]
name=HDP Version - HDP-3.1.0.0
baseurl=http://192.168.121.77/hdp/HDP/centos7
gpgcheck=1
gpgkey=http://192.168.121.77/hdp/HDP/centos7/3.1.0.0-78/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.121.77/hdp/HDP-UTILS-1.1.0.22
gpgcheck=1
gpgkey=http://192.168.121.77/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

在这里插入图片描述

4.3.2 分发Ambari.repo和HDP.repo

  • 把ambari.repo HDP.repo分发到各个节点的相同目录下
[root@yum yum.repos.d]# scp ambari.repo HDP.repo nd-00.hdp:$PWD
[root@yum yum.repos.d]# scp ambari.repo HDP.repo nd-01.hdp:$PWD
[root@yum yum.repos.d]# scp ambari.repo HDP.repo nd-02.hdp:$PWD

 
 

 
 
  • 1
  • 2
  • 3

4.3.3 生成本地源

  • 使用createrepo命令，创建yum本地源（软件仓库），即为存放本地特定位置的众多rpm包建立索引，描述各包所需依赖信息，并形成元数据。
[root@yum ~]# createrepo /var/www/html/hdp/HDP/centos7/
Spawning worker 0 with 51 pkgs
Spawning worker 1 with 50 pkgs
Spawning worker 2 with 50 pkgs
Spawning worker 3 with 50 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

[root@yum ~]# createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.22/
Spawning worker 0 with 4 pkgs
Spawning worker 1 with 4 pkgs
Spawning worker 2 with 4 pkgs
Spawning worker 3 with 4 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

5. 安装Ambari-Server

5.1 nd-00.hdp 节点安装

  • 安装ambari-server
[root@nd-00 ~]# yum install ambari-server
[root@nd-00 ~]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):root		# 用户
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2		# 选择自定义jdk
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/java/jdk1.8.0_77		# jdk安装路径
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3		# 选择安装的mysql
Hostname (localhost): nd-00		# 配置hostname
Port (3306): 		# 默认
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 		# 密码不显示
Re-enter password: 
Configuring ambari database...
Should ambari use existing default jdbc /usr/share/java/mysql-connector-java.jar [y/n] (y)? y
Configuring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL directly from the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql		# 此处需注意，启动ambari之前需要执行此句
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
ambari-admin-2.7.3.0.139.jar
....
Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos with it...
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.		# 安装成功

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 执行上面安装过程中给出的提示
# 使用root登录，设置允许远程登录
mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)
mysql> set global validate_password_length=1;
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'localhost' IDENTIFIED BY 'Ambari123';
Query OK, 0 rows affected, 1 warning (0.03 sec)
mysql> GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%' IDENTIFIED BY 'Ambari123';
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

 
 

 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 使用ambari登录
[root@nd-00 ~]# mysql -u ambari -p -h nd-00
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.7.25 MySQL Community Server (GPL)
Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;
±-------------------+
| Database |
±-------------------+
| information_schema |
| ambari |
±-------------------+
2 rows in set (0.03 sec)

mysql> use ambari;
Database changed
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

执行完，查看有无报错信息，并查看数据表

mysql> show tables;
±------------------------------+
| Tables_in_ambari |
±------------------------------+
| ClusterHostMapping |
| QRTZ_BLOB_TRIGGERS |
| QRTZ_CALENDARS |
| QRTZ_CRON_TRIGGERS |
| QRTZ_FIRED_TRIGGERS |
| QRTZ_JOB_DETAILS |
| QRTZ_LOCKS |
| QRTZ_PAUSED_TRIGGER_GRPS |
| QRTZ_SCHEDULER_STATE |
| QRTZ_SIMPLE_TRIGGERS |
| QRTZ_SIMPROP_TRIGGERS |
| QRTZ_TRIGGERS |
| adminpermission |
| adminprincipal |
| adminprincipaltype |
| adminprivilege |
| adminresource |
| adminresourcetype |
| alert_current |
| alert_definition |
| alert_group |
| alert_group_target |
| alert_grouping |
| alert_history |
| alert_notice |
| alert_target |
| alert_target_states |
| ambari_configuration |
| ambari_operation_history |
| ambari_sequences |
| artifact |
| blueprint |
| blueprint_configuration |
| blueprint_setting |
| clusterconfig |
| clusters |
| clusterservices |
| clusterstate |
| confgroupclusterconfigmapping |
| configgroup |
| configgrouphostmapping |
| execution_command |
| extension |
| extensionlink |
| groups |
| host_role_command |
| host_version |
| hostcomponentdesiredstate |
| hostcomponentstate |
| hostconfigmapping |
| hostgroup |
| hostgroup_component |
| hostgroup_configuration |
| hosts |
| hoststate |
| kerberos_descriptor |
| kerberos_keytab |
| kerberos_keytab_principal |
| kerberos_principal |
| key_value_store |
| kkp_mapping_service |
| members |
| metainfo |
| permission_roleauthorization |
| remoteambaricluster |
| remoteambariclusterservice |
| repo_applicable_services |
| repo_definition |
| repo_os |
| repo_tags |
| repo_version |
| request |
| requestoperationlevel |
| requestresourcefilter |
| requestschedule |
| requestschedulebatchrequest |
| role_success_criteria |
| roleauthorization |
| servicecomponent_version |
| servicecomponentdesiredstate |
| serviceconfig |
| serviceconfighosts |
| serviceconfigmapping |
| servicedesiredstate |
| setting |
| stack |
| stage |
| topology_host_info |
| topology_host_request |
| topology_host_task |
| topology_hostgroup |
| topology_logical_request |
| topology_logical_task |
| topology_request |
| upgrade |
| upgrade_group |
| upgrade_history |
| upgrade_item |
| user_authentication |
| users |
| viewentity |
| viewinstance |
| viewinstancedata |
| viewinstanceproperty |
| viewmain |
| viewparameter |
| viewresource |
| viewurl |
| widget |
| widget_layout |
| widget_layout_user_widget |
±------------------------------+
111 rows in set (0.00 sec)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141

5.2 启动Ambari-Server

  • 如果启动失败，关闭服务【ambari-server stop】，重新启动
[root@nd-00 ~]# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start......................................................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server ‘start’ completed successfully.

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

5.3 安装Agent

  • nd-00/01/02.hdp 所有节点安装ambari-agent
yum -y install ambari-agent

 
 

 
 
  • 1

在这里插入图片描述

5.4 访问Ambari web页面

  • 默认端口8080，Username：admin；Password：admin；http://192.168.121.100:8080
    在这里插入图片描述
    在这里插入图片描述

6. 开始安装集群

  • 启用安装向导创建集群
    在这里插入图片描述
  • 配置集群名称
    在这里插入图片描述
  • 选择版本
    在这里插入图片描述
  • 配置节点、密钥
    在这里插入图片描述
  • 主机确认
    在这里插入图片描述
  • 选择大数据组件
    在这里插入图片描述
  • 节点分配
    在这里插入图片描述
  • 分配从属和客户端
    在这里插入图片描述
  • 定制服务
    在这里插入图片描述
    在这里插入图片描述
[root@nd-00 ~]# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

 
 

 
 
  • 1

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 集群整体概况，点击部署
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 等待启动完毕，不用担心警告，后期可以调整，搭建完成，可以在展示页面进行查看集群状态。
    在这里插入图片描述
    在这里插入图片描述
  • 可以查看监控界面，可以看到大数据组件中出现错误，单个组件点开处理，由于本次搭建集群使用虚拟机，性能不好，可以少选择一些组件。
    在这里插入图片描述
                                </div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-b6c3c6d139.css" rel="stylesheet">
                </div>
wolongsuxing
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Ambari原理与代码实例讲解
禅与计算机程序设计艺术
06-15 295
Ambari原理与代码实例讲解 1. 背景介绍 Apache Ambari 是一个开源的大数据集群管理工具,用于简化 Apache Hadoop 生态系统中的软件安装、配置、集群管理和监控等操作。在大数据时代,随着数据量的快速增长和分析需求的不断扩大,单机系统已经无法满足企业的需求。因此,构
Ambari安装_机器克隆
ningyunrui的博客
04-15 164
1.修改CD/DVD为自动检测 2.克隆机器(创建完整克隆) 3.修改MAC地址 克隆后的虚拟机–>网络适配器–>高级–>MAC地址–>生成 4.克隆机器,修改所有机器的IP地址和主机名 修改IP地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改主机名 hostnamectl set-hostname nd-00....
Kylin-Server-10-SP2-x86_64安装HDP2.7.5.0、Ambari【已解决】
Danger
05-17 1728
ERROR: Unexpected error Ambari repo file path not set for current OS. ERROR: Exiting with exit code 1. REASON: Failed to create user. Exiting.
linux常用命令默写笔记
陆山右的技术博客
12-18 780
ambari 本地库搭建
a13575018718的专栏
02-16 159
1： vi /etc/httpd/conf/httpd.conf 指定你的源的目录 2： 导入ambari 源 more /etc/yum.repos.d/ambari.repo [Updates-ambari-2.4.2.0] name=ambari-2.4.2.0 - Updates baseurl=http://192.168.1.55/AMBARI-2...
ambari安装过程中的一些误区（跳坑指南）（ambari的两个bug修复）
zsk_john的技术分享专用博客
03-22 3847
Ambari简介 Ambari概述 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等；除此之外，Ambari还支持Spark、Storm等计算框架及资源调度平台YARN。 Apache Ambari 从集群节点和服务收集大量信息，并把它们表现为容易使用的，集中化的接口：Ambari Web.
Ambari源码编译、安装（包括异常处理）
m0_51205511的博客
12-10 5906
本篇文章以实践做记录总结在Redhat上编译、安装 ambari-2.7.4 源码以及安装服务的全部过程，文章基本是涵盖了所有步骤，可依据此文章逐步编译、安装成功。
Ambari(一) ----Ambari安装遇到的问题及解决方案
....
09-01 9885
文章目录 Ambari安装 Ambari2.6.0离线安装 Apache Ambari-2.7.3离线安装 Ambari踩过的坑及解决方案 博主的生产环境使用的是Ambari2.6.0版本 自己研究选择的是相对较新的Ambari2.7.3版本 因此,Ambari安装及踩坑主要是围绕这两个版本进行 一. Ambari安装 1.1 Ambari2.6.0离线安装 Ambari2.6.0版本安装可以参考该博客链接: Ambari2.6.0+HDP2.6.3安装(离线) 博主亲测,按照博客内容逐步执行即可,
Ambari安装报错
Ms_WangH
05-08 827
Ambari安装报错 ========================== Creating target directory... ========================== Command start time 2020-05-08 14:21:45 Connection to ambari1 closed. SSH command execution finished ho...
大数据集群管控台ambari安装
12-30
在本场景中，我们将详细讨论如何安装Ambari 2.7.3版本，以及与之相关的HDP 3.1安装过程。 首先，Ambari的安装始于设置用户仓库。在描述中提到了三个仓库： 1. HDP-3.1: 这是 Hortonworks Data Platform 的3.1版本...
ambari安装文档
03-14
基于ambari进行Hadoop大数据平台安装，详细描述了安装过程以及所需资源，包括相关配置，有需要的朋友可以下载
ambari安装
06-06
详细ambari安装文档
ambari离线安装
01-29
ambari离线安装教程，详细记录安装的每一个步骤，以及碰到问题的解决方案
ambari安装及搭建hadoop大数据集群
01-21
下面是使用 Ambari 安装和搭建 Hadoop 大数据集群的详细步骤。 一、安装环境准备 1. 操作系统环境准备：安装 Centos 7.2，jdk-8u91，mysql5.7.13。 2. 配置 SSH 免密码登录：在主节点上执行 ssh-keygen，生成公钥...
【Ambari】ambari组件安装
如切如磋，如琢如磨，臻于至善。
01-28 1032
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
Ambari2.7.4 + HDP3.1.4 离线安装（3）
musicofmaple的博客
11-15 3990
4.实现离线安装，更换yum源 4.1文件目录展示 4.1.1http服务方式 [root@master ~]# yum -y install httpd [root@master ~]# service httpd restart Redirecting to /bin/systemctl restart httpd.service [root@master ~]# chkconfig httpd on 安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps...
Ambari学习13_安装ambari的时候遇到的ambari和hadoop问题集
热门推荐
wang_zhenwei的博客
11-14 3万+
5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambari-server/ambari-server.out for mo
centos7 APACHE-AMBARI-2.7.4.0（Ambari 本地源安装）
Zcoder`Blog
10-11 5000
目录 一、Ambari 简介 二、软件准备 1. 软件要求 2. Ambari 软件包下载 三、搭建HDP集群 1. 搭建 Master 节点 1.1 新建虚拟机 1.2 配置虚拟机网络 1.3 关闭防火墙 firewalld 和 Selinux 1.4 修改host 1.5 设置阿里云的yum源 1.6 安装时间同步服务 NTP 1.7 安装并配置JDK 1.8 禁用...
Ambari2.6.0 安装HDP2.6.3（离线安装）
aigu1989的博客
04-25 682
一、下载安装包 　　因为使用在线安装特别慢，所有的安装包加起来有9个G左右，所以本教程是通过迅雷下载包，然后上传到服务器，通过配置本地源的方式来实现的离线安装。通过ambari安装需要下载下面的三个主要包： HDP：http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-c...
ambari安装hadoop
最新发布
07-29
您好！要安装Hadoop，您可以使用Ambari来简化和管理整个过程。以下是基本的步骤： 1. 准备环境：确保您的服务器满足Hadoop的最低要求，并已正确配置网络和主机名解析。 2. 下载和安装Ambari：从Ambari官方网站下载适用于您操作系统的Ambari软件包，并按照官方文档的说明进行安装。 3. 启动Ambari Server：运行Ambari Server启动命令，如：`ambari-server start`。这将启动Ambari Server并开始运行Web界面。 4. 访问Ambari Web界面：使用您的Web浏览器，访问Ambari Server的URL，通常是`http://<ambari-server>:8080`。您将看到Ambari的登录页面。 5. 登录Ambari：使用默认的管理员用户名和密码（通常是admin/admin），登录到Ambari Web界面。 6. 创建集群：在Ambari Web界面中，选择“创建集群”选项，然后按照向导逐步完成集群创建过程。您需要提供有关您的集群的一些信息，如主机名、操作系统、Hadoop组件等。 7. 安装Hadoop组件：在集群创建过程中，您可以选择要安装的Hadoop组件，如HDFS、YARN、MapReduce等。根据您的需求选择适当的组件，并按照向导完成安装过程。 8. 配置Hadoop集群：一旦安装完成，您可以使用Ambari Web界面来配置和管理您的Hadoop集群。您可以设置各种属性、添加节点、监控集群状态等。 这只是一个大致的步骤指引，您可以参考Ambari官方文档以获取更详细的指导和说明。祝您成功安装Hadoop！如有更多问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值