基于ambari的大数据平台搭建-03ambari安装配置(包含离线安装)

最新推荐文章于 2024-05-14 13:49:47 发布
最新推荐文章于 2024-05-14 13:49:47 发布
阅读量415 收藏 2
点赞数
分类专栏： ambari相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/github_39319229/article/details/103639523
版权

参考文档：https://docs.cloudera.com/HDPDocuments/Ambari/Ambari-2.7.4.0/index.html
无特殊说明，均在主节点操作

在线安装前置步骤（现在有收费墙，需要凭证才能在线安装）

1.下载ambari repository

wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.4.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

离线安装（需要下载上传好安装包）

在这里插入图片描述

  1. 安装工具包
yum install -y yum-utils createrepo
  1. 创建http服务，用于本地repo
yum install -y httpd

cd /var/www/html/
mkdir ambari
mkdir hdp
mkdir hdp/HDP-UTILS-1.1.0.22

#解压本地下载好的文件到对应目录
tar -zxvf /data/ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf /data/HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf /data/HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/

# 开启
systemctl start httpd
# 自启
systemctl enable httpd
# 查看状态
systemctl status httpd
  1. 创建本地源
vi /etc/yum.repos.d/ambari.repo
# 原来有就修改，没有就创建,改为下面内容，主要修改URL地址为本地地址
#VERSION_NUMBER=2.7.5.0-72
[ambari-2.7.5.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.5.0
baseurl=http://172.20.11.191/ambari/ambari/centos7/2.7.5.0-72
gpgcheck=1
gpgkey=http://172.20.11.191/ambari/ambari/centos7/2.7.5.0-72/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1



vi /etc/yum.repos.d/hdp.repo
# 同上，主要修改正确地址即可
#VERSION_NUMBER=3.1.5.0-152
[HDP-3.1.5.0]
name=HDP Version - HDP-3.1.5.0
baseurl=http://172.20.11.191/hdp/HDP/centos7
gpgcheck=1
gpgkey=http://172.20.11.191/hdp/HDP/centos7/3.1.5.0-152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1


[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://172.20.11.191/hdp/HDP-UTILS-1.1.0.22
gpgcheck=1
gpgkey=http://172.20.11.191/hdp/HDP-UTILS-1.1.0.22/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
  1. 分发repo文件，生成本地源
# 分发至其他节点
scp /etc/yum.repos.d/ambari.repo IP2:/etc/yum.repos.d
scp /etc/yum.repos.d/ambari.repo IP3:/etc/yum.repos.d
...

scp /etc/yum.repos.d/hdp.repo IP2:/etc/yum.repos.d
scp /etc/yum.repos.d/hdp.repo IP3:/etc/yum.repos.d
...


#生成本地源
createrepo /var/www/html/ambari/ambari/centos7/2.7.5.0-72/
createrepo /var/www/html/hdp/HDP/centos7/
createrepo /var/www/html/hdp/HDP-UTILS-1.1.0.22/
  1. 检查repo列表
yum repolist

在这里插入图片描述

下面的步骤离线与在线通用

4.ambari默认使用postgreSql,我这里换成mysql

# 4.1mysql安装（略）,需要的可以查看官方文档，或者我这篇mysql的安装笔记https://blog.csdn.net/github_39319229/article/details/104397699

#进入mysql 添加ambari用户及权限
create user 'ambari' identified by 'ambari';
GRANT all privileges on *.* TO 'ambari'@'%' identified by 'ambari' WITH GRANT OPTION;
GRANT all privileges on *.* TO 'ambari'@'localhost' identified by 'ambari' WITH GRANT OPTION;
GRANT all privileges on *.* TO 'ambari'@'ambari1' identified by 'ambari' WITH GRANT OPTION;
(注意：ambari1为主机名)
flush privileges;

# 添加hive用户
create user 'hive' identified by 'hive';
GRANT all privileges on *.* TO 'hive'@'%' identified by 'hive' WITH GRANT OPTION;
GRANT all privileges on *.* TO 'hive'@'localhost' identified by 'hive' WITH GRANT OPTION;
GRANT all privileges on *.* TO 'hive'@'ambari1' identified by 'hive' WITH GRANT OPTION;
(注意：ambari1为主机名)
flush privileges;

5.1.开始安装

yum install ambari-server -y

5.2. 设置ambari服务

ambari-server setup
#具体按照自己需求配置
# 1. 第一个默认选n
Customize user account for ambari-server daemon [y/n] (n)?
# 2. 第二个选择了自定义JDK 2
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1):2
# 填写JAVA_HOME
Path to JAVA_HOME: /opt/module/jdk1.8.0_241
# 3. 第三步选了默认 n
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)?

#第四步选择数据库选择y，自定义数据库，选择3 mysql，配置地址及账号密码
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3

# 配置host 账号密码等， 默认的直接回车
Hostname (localhost): n1.bigdatatest.com
Port (3306): 
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Re-enter password:


#出现警告，启动前需要配置jdbc
# WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java and set property "server.jdbc.driver.path=[path/to/custom_jdbc_driver]" in ambari.properties.

# 没有jdbc driver的先新开一个窗口进行jdbc配置
#下载配置jdbc
yum install -y mysql-connector-java
vi /etc/ambari-server/conf/ambari.properties
# 添加下面的配置
server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

# 填写jdbc driver地址
Enter full path to custom jdbc driver: /usr/share/java/mysql-connector-java.jar

#继续下一步，出现警告，需要运行sql语句创建ambari数据库
WARNING: Before starting Ambari Server, you must run the following DDL directly from the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? 

# 依然是用一个新的窗口进行操作
#进入mysql 创建ambari数据库
mysql -uroot -p

mysql> create database ambari;
mysql> use ambari;
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

# 配置好后默认y继续即可
Proceed with configuring remote database connection properties [y/n] (y)? 


# 完成后会提示 Ambari Server 'setup' completed successfully.

6.启动ambari服务

ambari-server start

#启动成功
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start...............................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.

#查看ambari状态
ambari-server status

#停止ambari服务
ambari-server stop

  1. 访问ambari web管理界面，浏览器输入IP:8080进入管理界面，默认用户名：admin 密码：admin 进入后如下图
    在这里插入图片描述

  2. 选择启动安装向导Launch Install Wizard
    在这里插入图片描述

  3. 给集群命名,然后next下一步
    在这里插入图片描述

  4. 选择HDP版本

# 如果是在线 url
	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.2.14/hdp.repo

如果本地安装，填写对应本地源地址。就是开始配置的，例如我配置的
http://172.20.11.191/hdp/HDP/centos7
http://172.20.11.191/hdp/HDP-UTILS-1.1.0.22
在这里插入图片描述

  1. 配置集群主机名及私钥(主节点的即可)，进入下一步等待安装

在这里插入图片描述
12. 等待验证完成后点击下一步。有异常或者错误，解决问题后再重新验证。步骤完善的话一般不会有异常。
在这里插入图片描述
在这里插入图片描述
13. 勾选需要安装的服务，可以后面需要时再安装，我这里只先安装一个hdfs为例子
在这里插入图片描述
会提示有一些组件也必须要安装，点击确定即可
在这里插入图片描述
14. 分配节点服务
在这里插入图片描述
按自己实际资源情况进行勾选
在这里插入图片描述
15. 下一步，一些自定义的配置，没有特殊需求需要调整的话。一直下一步即可
在这里插入图片描述
16. 等待安装服务和检测。安装会比较慢，在线安装有可能超时，多重试几次。有错误根据日志解决错误再重试
在这里插入图片描述
在这里插入图片描述

17.可能的安装报错

ERROR 2019-12-08 18:37:04,279 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:618)
ERROR 2019-12-08 18:37:04,279 NetUtil.py:97 - SSLError: Failed to connect. Please check openssl library versions. 

#忘记安装openssl
#python SSL验证设置


# ① 查看 openssl 版本：

    [root@ambari ~]# openssl version
    OpenSSL 1.0.2k-fips  26 Jan 2017

    [root@ambari ~]# rpm -qa | grep openssl
    openssl-libs-1.0.2k-12.el7.x86_64
    openssl-1.0.2k-12.el7.x86_64


# 如果低于 openssl-1.0.1e-16.el6.x86_64 版本，则需要更新到 openssl-1.0.1e-16.el6.x86_64 及以上版本

② 查看 Python 版本：

    [root@ambari ~]# python -V
    Python 2.7.5

#如果低于 Python 2.7 版本，则升级 Python 到 2.7 及以上版本。


# 编辑 /etc/python/cert-verification.cfg 配置文件，将 [https] 节的 verify 项设为禁用：(所有节点)

    [root@ambari ~]# vi /etc/python/cert-verification.cfg
    # Possible values are:
    # 'enable' to ensure HTTPS certificate verification is enabled by default
    # 'disable' to ensure HTTPS certificate verification is disabled by default
    # 'platform_default' to delegate the decision to the redistributor providing this particular Python version

    # For more info refer to https://www.python.org/dev/peps/pep-0493/
    [https]
    verify=disable

# 保存退出。


# ④ 编辑 /etc/ambari-agent/conf/ambari-agent.ini 配置文件，在 [security] 节部分，确保设置如下两个值，其它值保持不变：（所有节点）

    [root@ambari ~]# vi /etc/ambari-agent/conf/ambari-agent.ini

    [security]
    ssl_verify_cert=0
    force_https_protocol=PROTOCOL_TLSv1_2


# 保存退出，重启 ambari-agent：

    [root@ambari ~]# ambari-agent restart


# 重新执行确认主机步骤(Confirm Hosts)，即可通过确认主机并完成注册。
董不懂22
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ambari2.7.4 + HDP3.1.4 离线安装（3）
musicofmaple的博客
11-15 3988
4.实现离线安装，更换yum源 4.1文件目录展示 4.1.1http服务方式 [root@master ~]# yum -y install httpd [root@master ~]# service httpd restart Redirecting to /bin/systemctl restart httpd.service [root@master ~]# chkconfig httpd on 安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps...
ambari安装详细
wolongsuxing的专栏
12-04 1750
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声...
修改ambari postgres-embedded数据库源数据，删除服务
fzh90的专栏
02-20 1634
因为需要重装impala，先将impala删除，但是误操作，使得ambari-server启动不了，正确的顺序是： curl -u admin:admin -H "X-Requested-By: ambari" -X DELETE http://58.198.176.92:8093/api/v1/clusters/hadoop/services/IMPALA 再接着删除 ambari-se
Ambari集群部署全流程
最新发布
2401_84815189的博客
05-14 996
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
ambari源码编译教程
u012361112的博客
04-27 1312
前言 ambari源码编译是一个非常痛苦的过程，其官网上的编译资料非常少。本人在尝试编译ambari编码的过程中，遇到了非常多的问题，特别是ambari-web模块，吃了不少苦头。本文介绍的是ambari-2.4.0.0的源码编译过程，如果是高版本编译，可能会少一些问题。编译环境基本从零构建，我相信本教程应该适用绝大多数用户。 一、编译环境准备 1. 安装必要的编译工具： yum ins...
基于Ambari搭建大数据分析平台
tangyi2008的专栏
03-13 2719
大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。手工方式太过复杂，是一个艰辛的过程，在企业应用中，一般采用工具部署方式。Ambari和Cloudera Manager这两个系统，目的就是简化Hadoop生态集群的安装、配置，同时提高Hadoop运维效率，以及对Hadoop集群进行监控。
Ambari大数据平台搭建利器【大讲台】
06-12
Ambari是由 HortonWorks 开发的一个Hadoop相关的项目，这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高...
大数据平台搭建-ambari,yarn的搭建
06-27
基于ambari安装大数据平台，已通过测试，按照文档步骤可以完成安装。
202x年ambari搭建大数据平台安装手册(专业完整版).pdf
05-19
本文档主要介绍了使用 Ambari 搭建大数据平台的安装手册，对于大数据的安装和配置进行了详细的介绍。 大数据平台的基本概念： * 大数据是指无法在一定时间内用传统处理方式处理的巨量数据，包括结构化、非结构化和...
大数据平台搭建-本地yum源搭建
06-27
大数据平台的搭建，正常情况下集群机器是不能上网的，需要搭建本地yum源
Ambari大数据管理平台
02-27
在本文档中，我们将详细介绍Ambari的大数据管理平台的安装和配置过程。 ### 1. 环境配置 在安装Ambari之前，我们需要配置Linux系统环境。首先，我们需要更改主机名，以免因为磁盘太小带来更多的麻烦。我们可以使用...
Ambari源码编译、安装（包括异常处理）
m0_51205511的博客
12-10 5884
本篇文章以实践做记录总结在Redhat上编译、安装 ambari-2.7.4 源码以及安装服务的全部过程，文章基本是涵盖了所有步骤，可依据此文章逐步编译、安装成功。
Ambari2.7.7.0源码编译打包ambari-2.7.7.0-1-centos7_8-x86_64.tar.gz
mojiezhongbb的博客
09-22 713
IT技术学习需要群体模式，你我他/她，互学互推，在彼此的基础或成果上快速迭代，能做乘法，不做加法。 我从用几天（失败：网络不通，下载耗时，构建试错）做到Ambari2.7.7.0源码成功编译打包，到0.5天能重做0到1。称这为“迭代1” 有了“迭代1”，大伙就可以少走弯路，快速上手“迭代1”。再迭代各自己迭代2、3。。。" 本文目的1：赋能有心人，0.5天内实现《Ambari2.7.7.0源码编译打包》 本文目的2：让《Ambari源码构建》成为小case 本文不足：并未实现产品级的打包验收验证。
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）
小强签名设计 的博客
08-22 6352
Centos7.2下载地址：http://archive.kernel.org/centos-vault/7.2.1511/isos/x86_64/CentOS-7-x86_64-DVD-1511.isoCentos7.2安装教程：http://1130739.blog.51cto.com/1120739/1738791附：CentOS官网历史发行版本下载地址：http://archive.ker...
基于Ambari下的大数据架构设计
一休求索
09-16 985
大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。基础数据中心包括以下各类数据：污染源基础数据、建设项目审批数据、排污申报数据、排污收费数据、环境监察管理数据、行政处罚数据、环境信访、固废管理、污染源普查数据、在线监测数据、水环境质量数据、气环境质量数据、文档数据、图片、视频等非结构化数据、各种上报、汇报材料等主题数据库。
ambari2.8.0+bigtop3.2.0发行版大数据平台编译指南
m0_48319997的博客
04-09 5586
ambari和bigtop联合的第一个发行版终于出来了！！！这是在HDP、CDH大数据平台闭源后的第一个开源免费发行版的大数据平台。下面为大家详细介绍Centos7下的编译方法。
Ambari+Bigtop大数据平台安装部署指南(Centos7)二
m0_48319997的博客
04-19 3192
上篇文章已经完成ambari界面化操作前的所有操作，本篇将从ambari界面化安装bigtop大数据组件开始。
centos7 APACHE-AMBARI-2.7.4.0（Ambari 本地源安装）
Zcoder`Blog
10-11 4998
目录 一、Ambari 简介 二、软件准备 1. 软件要求 2. Ambari 软件包下载 三、搭建HDP集群 1. 搭建 Master 节点 1.1 新建虚拟机 1.2 配置虚拟机网络 1.3 关闭防火墙 firewalld 和 Selinux 1.4 修改host 1.5 设置阿里云的yum源 1.6 安装时间同步服务 NTP 1.7 安装并配置JDK 1.8 禁用...
Cnetos7搭建Ambari-2.7.3-HDP环境
赵昕彧
03-26 339
搭建Ambari-2.7.3 1.环境准备 CentOS-7-x86_64-DVD-1908.iso jdk-8u181-linux-x64.tar.gz mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar.tar mysql-connector-java-5.1.7-bin.jar 2.开始搭建虚拟机 <本人虚拟机映射名hadoop,地址设置为192.16...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值