HDP3.3.2.0-002实践试范（1）

已于 2023-10-07 14:58:47 修改
阅读量770 收藏 1
点赞数 1
文章标签： ambari hdfs hadoop zookeeper
于 2023-10-06 15:16:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mojiezhongbb/article/details/133436117
版权

概述（感谢hidataplus的共享共建，才有今天的分享_）

本文就是一个小case ,演示0到1的0。没有包袱，直接玩起

本文目的：为HDP 3.3.2.0的推广，开个小头。慢慢深入

在这里插入图片描述
接前文总规划HDP3.3.2.0-002实践试范，展开第一章

一、ambari 无脑装（1台）

1.1、前置1个vm （centos 7.9）

vm 需要那些准备！！！自行补脑或我来补一文。主要如下：

  jdk-8u202
  jdk配置JCE
  yum源
  修改打开文件限制、关闭Selinux和THP、umask修改
  关闭firewalld

我们会模板好一个vm。以后通过vm模板来出机。就统一又便捷了。参考我补发的**文【TODO】

添加源：

 vim /etc/yum.repos.d/ambari.repo

#VERSION_NUMBER=2.7.6.0-22
[ambari-2.7.6.0-22]
name=ambari Version - ambari-2.7.6.0-22
baseurl=http://192.168.1.100/ambari/centos7/2.7.6.0-22/
gpgcheck=0
gpgkey=http://x86.repo.hdp.link/ambari/centos7/2.7.6.0-22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hosts解释：

vim /etc/hosts

192.168.1.120 ambari.tssj.com
192.168.1.121 master.tssj.com
192.168.1.122 metrics.tssj.com
192.168.1.123 slave123.tssj.com
192.168.1.124 slave124.tssj.com
192.168.1.125 slave125.tssj.com
192.168.1.111 ipa1.tssj.com
192.168.1.112 ipa2.tssj.com

1.2、安装

[root@ambari ~]# yum install -y ambari-server
已加载插件：fastestmirror
Determining fastest mirrors
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
ambari-2.7.6.0-22                                                                                       | 2.9 kB  00:00:00     
base                                                                                                    | 3.6 kB  00:00:00     
extras                                                                                                  | 2.9 kB  00:00:00     
updates                                                                                                 | 2.9 kB  00:00:00     
(1/3): ambari-2.7.6.0-22/primary_db                                                                     |  28 kB  00:00:00     
(2/3): extras/7/x86_64/primary_db                                                                       | 250 kB  00:00:00     
(3/3): updates/7/x86_64/primary_db                                                                                      |  23 MB  00:00:06     
正在解决依赖关系
--> 正在检查事务
---> 软件包 ambari-server.x86_64.0.2.7.6.0-22 将被 安装
--> 正在处理依赖关系 postgresql-server >= 8.1，它被软件包 ambari-server-2.7.6.0-22.x86_64 需要
--> 正在处理依赖关系 python3，它被软件包 ambari-server-2.7.6.0-22.x86_64 需要
--> 正在检查事务
---> 软件包 postgresql-server.x86_64.0.9.2.24-8.el7_9 将被 安装
--> 正在处理依赖关系 postgresql-libs(x86-64) = 9.2.24-8.el7_9，它被软件包 postgresql-server-9.2.24-8.el7_9.x86_64 需要
--> 正在处理依赖关系 postgresql(x86-64) = 9.2.24-8.el7_9，它被软件包 postgresql-server-9.2.24-8.el7_9.x86_64 需要
--> 正在处理依赖关系 libpq.so.5()(64bit)，它被软件包 postgresql-server-9.2.24-8.el7_9.x86_64 需要
---> 软件包 python3.x86_64.0.3.6.8-19.el7_9 将被 安装
--> 正在处理依赖关系 python3-libs(x86-64) = 3.6.8-19.el7_9，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 python3-setuptools，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 python3-pip，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 libpython3.6m.so.1.0()(64bit)，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在检查事务
---> 软件包 postgresql.x86_64.0.9.2.24-8.el7_9 将被 安装
---> 软件包 postgresql-libs.x86_64.0.9.2.24-8.el7_9 将被 安装
---> 软件包 python3-libs.x86_64.0.3.6.8-19.el7_9 将被 安装
--> 正在处理依赖关系 libtirpc.so.1()(64bit)，它被软件包 python3-libs-3.6.8-19.el7_9.x86_64 需要
---> 软件包 python3-pip.noarch.0.9.0.3-8.el7 将被 安装
---> 软件包 python3-setuptools.noarch.0.39.2.0-10.el7 将被 安装
--> 正在检查事务
---> 软件包 libtirpc.x86_64.0.0.2.4-0.16.el7 将被 安装
--> 解决依赖关系完成

依赖关系解决

===============================================================================================================================================
 Package                               架构                      版本                               源                                    大小
===============================================================================================================================================
正在安装:
 ambari-server                         x86_64                    2.7.6.0-22                         ambari-2.7.6.0-22                    526 M
为依赖而安装:
 libtirpc                              x86_64                    0.2.4-0.16.el7                     base                                  89 k
 postgresql                            x86_64                    9.2.24-8.el7_9                     updates                              3.0 M
 postgresql-libs                       x86_64                    9.2.24-8.el7_9                     updates                              235 k
 postgresql-server                     x86_64                    9.2.24-8.el7_9                     updates                              3.8 M
 python3                               x86_64                    3.6.8-19.el7_9                     updates                               70 k
 python3-libs                          x86_64                    3.6.8-19.el7_9                     updates                              6.9 M
 python3-pip                           noarch                    9.0.3-8.el7                        base                                 1.6 M
 python3-setuptools                    noarch                    39.2.0-10.el7                      base                                 629 k

事务概要
===============================================================================================================================================
安装  1 软件包 (+8 依赖软件包)

总下载量：542 M
安装大小：674 M
Downloading packages:
(1/9): libtirpc-0.2.4-0.16.el7.x86_64.rpm                                                                               |  89 kB  00:00:00     
(2/9): postgresql-libs-9.2.24-8.el7_9.x86_64.rpm                                                                        | 235 kB  00:00:00     
(3/9): postgresql-9.2.24-8.el7_9.x86_64.rpm                                                                             | 3.0 MB  00:00:01     
(4/9): python3-pip-9.0.3-8.el7.noarch.rpm                                                                               | 1.6 MB  00:00:01     
(5/9): python3-setuptools-39.2.0-10.el7.noarch.rpm                                                                      | 629 kB  00:00:00     
(6/9): python3-libs-3.6.8-19.el7_9.x86_64.rpm                                                                           | 6.9 MB  00:00:03     
(7/9): postgresql-server-9.2.24-8.el7_9.x86_64.rpm                                                                      | 3.8 MB  00:00:04     
python3-3.6.8-19.el7_9.x86_64. FAILED                                          ============                  ]  11 MB/s | 337 MB  00:00:18 ETA 
http://mirrors.cloud.aliyuncs.com/centos/7/updates/x86_64/Packages/python3-3.6.8-19.el7_9.x86_64.rpm: [Errno 12] Timeout on http://mirrors.cloud.aliyuncs.com/centos/7/updates/x86_64/Packages/python3-3.6.8-19.el7_9.x86_64.rpm: (28, 'Connection timed out after 30001 milliseconds')
正在尝试其它镜像。
(8/9): python3-3.6.8-19.el7_9.x86_64.rpm                                                                                |  70 kB  00:00:00     
(9/9): ambari-server-2.7.6.0-22.x86_64.rpm                                                                              | 526 MB  00:00:49     
-----------------------------------------------------------------------------------------------------------------------------------------------
总计                                                                                                            11 MB/s | 542 MB  00:00:49     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  正在安装    : postgresql-libs-9.2.24-8.el7_9.x86_64                                                                                      1/9 
  正在安装    : postgresql-9.2.24-8.el7_9.x86_64                                                                                           2/9 
  正在安装    : postgresql-server-9.2.24-8.el7_9.x86_64                                                                                    3/9 
  正在安装    : libtirpc-0.2.4-0.16.el7.x86_64                                                                                             4/9 
  正在安装    : python3-setuptools-39.2.0-10.el7.noarch                                                                                    5/9 
  正在安装    : python3-pip-9.0.3-8.el7.noarch                                                                                             6/9 
  正在安装    : python3-3.6.8-19.el7_9.x86_64                                                                                              7/9 
  正在安装    : python3-libs-3.6.8-19.el7_9.x86_64                                                                                         8/9 
/usr/bin/python exist
  正在安装    : ambari-server-2.7.6.0-22.x86_64                                                                                            9/9 
  验证中      : libtirpc-0.2.4-0.16.el7.x86_64                                                                                             1/9 
  验证中      : postgresql-libs-9.2.24-8.el7_9.x86_64                                                                                      2/9 
  验证中      : postgresql-9.2.24-8.el7_9.x86_64                                                                                           3/9 
  验证中      : python3-3.6.8-19.el7_9.x86_64                                                                                              4/9 
  验证中      : postgresql-server-9.2.24-8.el7_9.x86_64                                                                                    5/9 
  验证中      : ambari-server-2.7.6.0-22.x86_64                                                                                            6/9 
  验证中      : python3-setuptools-39.2.0-10.el7.noarch                                                                                    7/9 
  验证中      : python3-pip-9.0.3-8.el7.noarch                                                                                             8/9 
  验证中      : python3-libs-3.6.8-19.el7_9.x86_64                                                                                         9/9 

已安装:
  ambari-server.x86_64 0:2.7.6.0-22                                                                                                            

作为依赖被安装:
  libtirpc.x86_64 0:0.2.4-0.16.el7                postgresql.x86_64 0:9.2.24-8.el7_9              postgresql-libs.x86_64 0:9.2.24-8.el7_9      
  postgresql-server.x86_64 0:9.2.24-8.el7_9       python3.x86_64 0:3.6.8-19.el7_9                 python3-libs.x86_64 0:3.6.8-19.el7_9         
  python3-pip.noarch 0:9.0.3-8.el7                python3-setuptools.noarch 0:39.2.0-10.el7      

完毕！

1.3、配置

1，指定用户ambari。
2，指定JDK。(若不指定会自动安装jdk-8u112到/usr/jdk64/，并装上jce_policy-8)
3，数据库先嵌入式pg。后续可按需移到独立服务。

注：更无脑安装,可以不指定用户，不指它jdk。直接默认配置包办。为了后续演进迭代才指定。

预告：自带的pg 9.2.24。在后面装hue时会报错。 建议hidataplus把自带的pg 升级到9.6 或 12 或14，这样更加丝滑。下文会引入pg 14代替之。更大的访问量会拆库，这里是小白场景，不搞复杂。 
[root@ambari ~]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):admin
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/java/jdk1.8.0_202-amd64
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 1
Database admin user (postgres): 
Database name (ambari): 
Postgres schema (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK


About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.7.6.0.0.jar
..
Ambari repo file doesn't contain latest json url, skipping repoinfos modification
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

1.4、启动

[root@ambari ~]# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.

访问： http://192.168.1.120:8080/ 或 http://ambari.tssj.com:8080/

登录：admin/admin
在这里插入图片描述
提示创建大数据集群
在这里插入图片描述
大数据集群：bigdata
在这里插入图片描述
看到HDP 3.3 stack列表，版本较新，好吸引
配置本地源：路径约定 http://**/[平台]/[版本]
http://192.168.1.100/HDP/centos7/3.3.2.0-002/
http://192.168.1.100/HDP-GPL/centos7/3.3.2.0-002/
http://192.168.1.100/HDP-UTILS/centos7/1.1.0.22/
在这里插入图片描述
提前做好ambari.tssj.com的ssh私钥，及对自身免密登录。
在这里插入图片描述
在这里插入图片描述
只选HDFS 、ZK
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
。。。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一路装下来，小case 吧。。
接下来。分布式，高可。。。

HDP2.3.2升级到HDP2.3.4
最熟悉的陌生人
01-18 4249
HDP2.3.2升级到HDP2.3.4 HDP232升级到HDP234 1版本对应 1 HDP-Ambari-Spark版本对应 2 HDP234 的组件版本 3 spark152在hdp运行条件 2准备 1 检查service action 的start stoprun service check 2启动所有服务并清除警告 3 保证没有maintenance状态的服务 4 时间服务ntpd启动停止
HDP3.3.2.0-002实践试范（2)
mojiezhongbb的博客
10-06 369
为HDP 3.3.2.0的推广，接个力 metrics logSearch
HDP3.3.2.0-002实践试范（6）
mojiezhongbb的博客
10-07 360
为HDP 3.3.2.0的推广，接个力 doris hue
基于openEuler22.03-sp3（ARM）部署hdp3.3.2
Flyingcars的专栏
05-11 640
- 没有东西可提供 /usr/bin/lsb_release（hadoop_3_3_2_0_008-3.3.6.3.3.2.0-008.aarch64 需要）# 安装mysql-connector-java，安装包：mysql-connector-java-5.1.48.jar。#参考http://www.manongjc.com/detail/57-uvmdjxzmjwmvyaz.html。#将docker-ce.repo中[docker-ce-stable]中的$releasever改为8。
HDP3.3.2.0-002实践试范（22）构建实时湖仓一体的联邦查询 flink&cdc + iceberg + doris
mojiezhongbb的博客
11-09 715
本文目的：为HDP 3.3.2.0的推广，接个力 Doris + FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
HDP3.3.2.0-002实践试范（12）
mojiezhongbb的博客
10-11 523
拆成2章会更好点。12章MIT Kerberos HA ；13章FreeIPA HA。 本文目的：为HDP 3.3.2.0的推广，接个力 MIT Kerberos HA
HDP3.3.2.0-002实践试范（3）
mojiezhongbb的博客
10-06 546
为HDP 3.3.2.0的推广，接个力 atlas ranger
Ambari和HDP下载网盘地址(Ambari-2.5.2.0 + HDP-2.6.2.14)
03-25
该网盘内容是：Ambari-2.5.2.0-centos7.tar.gz，HDP-2.6.2.14-centos7-rpm.tar.gz，HDP-UTILS-1.1.0.21-centos7.tar.gz，绝对真实。。 。。。。一定要注意：其他版本如Ambari-2.7.3.0 + HDP-3.1.0.0，Ambari-2.7.4.0...
HDP-GPL-3.1.4.0-centos7-gpl.tar.gz
03-25
标题 "HDP-GPL-3.1.4.0-centos7-gpl.tar.gz" 提供的信息表明，这是一个与HDP(Hortonworks Data Platform)相关的开源版本，版本号为3.1.4.0，是为CentOS 7操作系统设计的。HDP是一个基于Apache Hadoop的全面数据平台...
HDP-UTILS-1.1.0.22-centos7.tar.gz
10-25
标题 "HDP-UTILS-1.1.0.22-centos7.tar.gz" 提供的是一个软件包的名称，这通常代表了一个特定版本的工具集合，用于在CentOS 7操作系统上与Hadoop Distributed File System (HDFS)相关的操作。HDP全称为Hortonworks ...
HDP-GPL-2.6.4.0-centos7-rpm.tar.gz
09-04
标题 "HDP-GPL-2.6.4.0-centos7-rpm.tar.gz" 提供的信息表明，这是一个与HDP（Hortonworks Data Platform）相关的开源版本，具体为2.6.4.0版，面向CentOS 7操作系统的RPM（Red Hat Package Manager）格式的软件包。...
HDP-GPL-3.0.1.0-centos7-gpl.tar.gz 用于部署HDP大数据平台，处理和分析各种类型的数据
03-12
该软件包主要用于在CentOS 7操作...通过安装和配置HDP-GPL-3.0.1.0-centos7-gpl.tar.gz，您可以搭建一个功能强大的大数据平台，用于处理和分析各种类型的数据。它可以帮助您实现数据的存储、处理、查询和可视化等任务。
Hadoop 3.3.2 离线安装
shangjg3的博客
08-02 312
2.6 配置etc/hadoop/mapred-site.xml。2.3 配置etc/hadoop/hadoop-env.sh。2.4 配置etc/hadoop/core-site.xml。2.5 配置etc/hadoop/hdfs-site.xml。2.7 配置etc/hadoop/yarn-site.xml。安装目录/data/cmpt/hadoop-3.3.2。1.1 安装jdk,配置jdk环境变量。2.2 配置hadoop环境变量。2.8格式化namenode。1.4 设置hosts。
错误:软件包: ambari-server-2.7.0.0-897.x86_64(ambari )需要:postgresql-server＞=8.1
weixin_43820434的博客
03-30 1682
解决： 第一步安装postgresql-serve，且版本大于8.1 这里选择postgresql-serve的12版本 # 安装存储库 RPM： sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm #按顺序安装如下包，包我已经放到这里，点开自取(http://114.55.237.251/postgresql
HiDataPlus 3.3.2-005 搭建（个人的一点心得体会 x86 平台）
Han_Lin-的博客
01-11 1810
HiDataPlus 3.3.2-005 安装
Hadoop 完全分布式部署_hadoop分布式安装部署
2401_84185145的博客
04-27 573
把xsync命令发送到node2、node3。
ubuntu 18.04安装hdp 3.1.0（含安装包）
hidataplus的博客
09-28 1383
hdp平台提供centos、ubuntu等平台的安装与使用，本文以ubuntu 18.04操作系统为基础，介绍hdp3.1.0在该平台上的安装与配置，并提供安装包下载，手把手教您搭建属于您的大数据平台。
智能大数据平台USDP
最新发布
mopmgerg54mo的博客
10-23 546
定义：USDP是UCloud基于多年大数据平台开发经验，自主研发的智能化、轻量级的大数据基础服务平台。背景：随着大数据技术的快速发展，企业面临着海量数据的处理和分析挑战。为了帮助企业更好地应对这些挑战，UCloud推出了USDP平台，提供一站式大数据集群管理和运维能力，助力企业快速构建数据分析处理能力。
大数据平台搭建
lioo7的博客
07-05 430
一 服务器确认hostIP             hostname           hdfs      192.168.1.235        master         namenode 对应大数据组件  ：hadoop,hive,hbase,zookeeper,sqoophostIP             hostname           hdfs192.168.1.234  ...
kk@kk:/usr/local/hadoop1$ ./bin/hadoop version ERROR: Cannot execute /usr/hdp/3.3.5.0-315/hadoop/libexec/hadoop-config.sh.
12-18
根据提供的引用内容，可能是由于Hadoop配置文件无法执行导致的错误。您可以尝试以下步骤解决此问题： 1.检查Hadoop配置文件是否存在，并确保具有执行权限。 2.检查Hadoop配置文件中是否存在错误或不完整的配置。 3.检查Hadoop安装目录是否正确，并确保已正确设置环境变量。 4.尝试将Hadoop安装目录链接到/opt/soft/目录，如下所示： ```shell ln -s /usr/hdp/3.1.4.0-315/hadoop/ /opt/soft/ ``` 5.尝试重新启动Hadoop服务并再次运行命令。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值