HDP3.3.2.0-002实践试范（1）

已于 2023-10-07 14:58:47 修改
阅读量518 收藏 1
点赞数 1
文章标签： ambari hdfs hadoop zookeeper
于 2023-10-06 15:16:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mojiezhongbb/article/details/133436117
版权

概述（感谢hidataplus的共享共建，才有今天的分享_）

本文就是一个小case ,演示0到1的0。没有包袱，直接玩起

本文目的：为HDP 3.3.2.0的推广，开个小头。慢慢深入

在这里插入图片描述
接前文总规划HDP3.3.2.0-002实践试范，展开第一章

一、ambari 无脑装（1台）

1.1、前置1个vm （centos 7.9）

vm 需要那些准备！！！自行补脑或我来补一文。主要如下：

  jdk-8u202
  jdk配置JCE
  yum源
  修改打开文件限制、关闭Selinux和THP、umask修改
  关闭firewalld

我们会模板好一个vm。以后通过vm模板来出机。就统一又便捷了。参考我补发的**文【TODO】

添加源：

 vim /etc/yum.repos.d/ambari.repo

#VERSION_NUMBER=2.7.6.0-22
[ambari-2.7.6.0-22]
name=ambari Version - ambari-2.7.6.0-22
baseurl=http://192.168.1.100/ambari/centos7/2.7.6.0-22/
gpgcheck=0
gpgkey=http://x86.repo.hdp.link/ambari/centos7/2.7.6.0-22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

hosts解释：

vim /etc/hosts

192.168.1.120 ambari.tssj.com
192.168.1.121 master.tssj.com
192.168.1.122 metrics.tssj.com
192.168.1.123 slave123.tssj.com
192.168.1.124 slave124.tssj.com
192.168.1.125 slave125.tssj.com
192.168.1.111 ipa1.tssj.com
192.168.1.112 ipa2.tssj.com

1.2、安装

[root@ambari ~]# yum install -y ambari-server
已加载插件：fastestmirror
Determining fastest mirrors
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
ambari-2.7.6.0-22                                                                                       | 2.9 kB  00:00:00     
base                                                                                                    | 3.6 kB  00:00:00     
extras                                                                                                  | 2.9 kB  00:00:00     
updates                                                                                                 | 2.9 kB  00:00:00     
(1/3): ambari-2.7.6.0-22/primary_db                                                                     |  28 kB  00:00:00     
(2/3): extras/7/x86_64/primary_db                                                                       | 250 kB  00:00:00     
(3/3): updates/7/x86_64/primary_db                                                                                      |  23 MB  00:00:06     
正在解决依赖关系
--> 正在检查事务
---> 软件包 ambari-server.x86_64.0.2.7.6.0-22 将被 安装
--> 正在处理依赖关系 postgresql-server >= 8.1，它被软件包 ambari-server-2.7.6.0-22.x86_64 需要
--> 正在处理依赖关系 python3，它被软件包 ambari-server-2.7.6.0-22.x86_64 需要
--> 正在检查事务
---> 软件包 postgresql-server.x86_64.0.9.2.24-8.el7_9 将被 安装
--> 正在处理依赖关系 postgresql-libs(x86-64) = 9.2.24-8.el7_9，它被软件包 postgresql-server-9.2.24-8.el7_9.x86_64 需要
--> 正在处理依赖关系 postgresql(x86-64) = 9.2.24-8.el7_9，它被软件包 postgresql-server-9.2.24-8.el7_9.x86_64 需要
--> 正在处理依赖关系 libpq.so.5()(64bit)，它被软件包 postgresql-server-9.2.24-8.el7_9.x86_64 需要
---> 软件包 python3.x86_64.0.3.6.8-19.el7_9 将被 安装
--> 正在处理依赖关系 python3-libs(x86-64) = 3.6.8-19.el7_9，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 python3-setuptools，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 python3-pip，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 libpython3.6m.so.1.0()(64bit)，它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在检查事务
---> 软件包 postgresql.x86_64.0.9.2.24-8.el7_9 将被 安装
---> 软件包 postgresql-libs.x86_64.0.9.2.24-8.el7_9 将被 安装
---> 软件包 python3-libs.x86_64.0.3.6.8-19.el7_9 将被 安装
--> 正在处理依赖关系 libtirpc.so.1()(64bit)，它被软件包 python3-libs-3.6.8-19.el7_9.x86_64 需要
---> 软件包 python3-pip.noarch.0.9.0.3-8.el7 将被 安装
---> 软件包 python3-setuptools.noarch.0.39.2.0-10.el7 将被 安装
--> 正在检查事务
---> 软件包 libtirpc.x86_64.0.0.2.4-0.16.el7 将被 安装
--> 解决依赖关系完成

依赖关系解决

===============================================================================================================================================
 Package                               架构                      版本                               源                                    大小
===============================================================================================================================================
正在安装:
 ambari-server                         x86_64                    2.7.6.0-22                         ambari-2.7.6.0-22                    526 M
为依赖而安装:
 libtirpc                              x86_64                    0.2.4-0.16.el7                     base                                  89 k
 postgresql                            x86_64                    9.2.24-8.el7_9                     updates                              3.0 M
 postgresql-libs                       x86_64                    9.2.24-8.el7_9                     updates                              235 k
 postgresql-server                     x86_64                    9.2.24-8.el7_9                     updates                              3.8 M
 python3                               x86_64                    3.6.8-19.el7_9                     updates                               70 k
 python3-libs                          x86_64                    3.6.8-19.el7_9                     updates                              6.9 M
 python3-pip                           noarch                    9.0.3-8.el7                        base                                 1.6 M
 python3-setuptools                    noarch                    39.2.0-10.el7                      base                                 629 k

事务概要
===============================================================================================================================================
安装  1 软件包 (+8 依赖软件包)

总下载量：542 M
安装大小：674 M
Downloading packages:
(1/9): libtirpc-0.2.4-0.16.el7.x86_64.rpm                                                                               |  89 kB  00:00:00     
(2/9): postgresql-libs-9.2.24-8.el7_9.x86_64.rpm                                                                        | 235 kB  00:00:00     
(3/9): postgresql-9.2.24-8.el7_9.x86_64.rpm                                                                             | 3.0 MB  00:00:01     
(4/9): python3-pip-9.0.3-8.el7.noarch.rpm                                                                               | 1.6 MB  00:00:01     
(5/9): python3-setuptools-39.2.0-10.el7.noarch.rpm                                                                      | 629 kB  00:00:00     
(6/9): python3-libs-3.6.8-19.el7_9.x86_64.rpm                                                                           | 6.9 MB  00:00:03     
(7/9): postgresql-server-9.2.24-8.el7_9.x86_64.rpm                                                                      | 3.8 MB  00:00:04     
python3-3.6.8-19.el7_9.x86_64. FAILED                                          ============                  ]  11 MB/s | 337 MB  00:00:18 ETA 
http://mirrors.cloud.aliyuncs.com/centos/7/updates/x86_64/Packages/python3-3.6.8-19.el7_9.x86_64.rpm: [Errno 12] Timeout on http://mirrors.cloud.aliyuncs.com/centos/7/updates/x86_64/Packages/python3-3.6.8-19.el7_9.x86_64.rpm: (28, 'Connection timed out after 30001 milliseconds')
正在尝试其它镜像。
(8/9): python3-3.6.8-19.el7_9.x86_64.rpm                                                                                |  70 kB  00:00:00     
(9/9): ambari-server-2.7.6.0-22.x86_64.rpm                                                                              | 526 MB  00:00:49     
-----------------------------------------------------------------------------------------------------------------------------------------------
总计                                                                                                            11 MB/s | 542 MB  00:00:49     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  正在安装    : postgresql-libs-9.2.24-8.el7_9.x86_64                                                                                      1/9 
  正在安装    : postgresql-9.2.24-8.el7_9.x86_64                                                                                           2/9 
  正在安装    : postgresql-server-9.2.24-8.el7_9.x86_64                                                                                    3/9 
  正在安装    : libtirpc-0.2.4-0.16.el7.x86_64                                                                                             4/9 
  正在安装    : python3-setuptools-39.2.0-10.el7.noarch                                                                                    5/9 
  正在安装    : python3-pip-9.0.3-8.el7.noarch                                                                                             6/9 
  正在安装    : python3-3.6.8-19.el7_9.x86_64                                                                                              7/9 
  正在安装    : python3-libs-3.6.8-19.el7_9.x86_64                                                                                         8/9 
/usr/bin/python exist
  正在安装    : ambari-server-2.7.6.0-22.x86_64                                                                                            9/9 
  验证中      : libtirpc-0.2.4-0.16.el7.x86_64                                                                                             1/9 
  验证中      : postgresql-libs-9.2.24-8.el7_9.x86_64                                                                                      2/9 
  验证中      : postgresql-9.2.24-8.el7_9.x86_64                                                                                           3/9 
  验证中      : python3-3.6.8-19.el7_9.x86_64                                                                                              4/9 
  验证中      : postgresql-server-9.2.24-8.el7_9.x86_64                                                                                    5/9 
  验证中      : ambari-server-2.7.6.0-22.x86_64                                                                                            6/9 
  验证中      : python3-setuptools-39.2.0-10.el7.noarch                                                                                    7/9 
  验证中      : python3-pip-9.0.3-8.el7.noarch                                                                                             8/9 
  验证中      : python3-libs-3.6.8-19.el7_9.x86_64                                                                                         9/9 

已安装:
  ambari-server.x86_64 0:2.7.6.0-22                                                                                                            

作为依赖被安装:
  libtirpc.x86_64 0:0.2.4-0.16.el7                postgresql.x86_64 0:9.2.24-8.el7_9              postgresql-libs.x86_64 0:9.2.24-8.el7_9      
  postgresql-server.x86_64 0:9.2.24-8.el7_9       python3.x86_64 0:3.6.8-19.el7_9                 python3-libs.x86_64 0:3.6.8-19.el7_9         
  python3-pip.noarch 0:9.0.3-8.el7                python3-setuptools.noarch 0:39.2.0-10.el7      

完毕！

1.3、配置

1，指定用户ambari。
2，指定JDK。(若不指定会自动安装jdk-8u112到/usr/jdk64/，并装上jce_policy-8)
3，数据库先嵌入式pg。后续可按需移到独立服务。

注：更无脑安装,可以不指定用户，不指它jdk。直接默认配置包办。为了后续演进迭代才指定。

预告：自带的pg 9.2.24。在后面装hue时会报错。 建议hidataplus把自带的pg 升级到9.6 或 12 或14，这样更加丝滑。下文会引入pg 14代替之。更大的访问量会拆库，这里是小白场景，不搞复杂。 
[root@ambari ~]# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? y
Enter user account for ambari-server daemon (root):admin
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/java/jdk1.8.0_202-amd64
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 1
Database admin user (postgres): 
Database name (ambari): 
Postgres schema (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Running initdb: This may take up to a minute.
Initializing database ... OK


About to start PostgreSQL
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
ambari-admin-2.7.6.0.0.jar
..
Ambari repo file doesn't contain latest json url, skipping repoinfos modification
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

1.4、启动

[root@ambari ~]# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.

访问： http://192.168.1.120:8080/ 或 http://ambari.tssj.com:8080/

登录：admin/admin
在这里插入图片描述
提示创建大数据集群
在这里插入图片描述
大数据集群：bigdata
在这里插入图片描述
看到HDP 3.3 stack列表，版本较新，好吸引
配置本地源：路径约定 http://**/[平台]/[版本]
http://192.168.1.100/HDP/centos7/3.3.2.0-002/
http://192.168.1.100/HDP-GPL/centos7/3.3.2.0-002/
http://192.168.1.100/HDP-UTILS/centos7/1.1.0.22/
在这里插入图片描述
提前做好ambari.tssj.com的ssh私钥，及对自身免密登录。
在这里插入图片描述
在这里插入图片描述
只选HDFS 、ZK
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
。。。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一路装下来，小case 吧。。
接下来。分布式，高可。。。

江南五一八
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
HDP-GPL-3.1.4.0-centos7-gpl.tar.gz
03-25
HDP-GPL-3.1.4.0-centos7-gpl.tar.gz
HDP3.3.2.0-002实践试范（0）
mojiezhongbb的博客
10-06 1034
路演HDP3.3.0.0-002的安装，助力hidataplus作品《HDP3.3》成长
【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1问题总结
康师傅没有眼泪
09-29 2058
HDP 3.3.1 安装问题总结
HDP3.3.2.0-002实践试范（3）
mojiezhongbb的博客
10-06 387
为HDP 3.3.2.0的推广，接个力 atlas ranger
HDP3.3.2.0-002实践试范（22）构建实时湖仓一体的联邦查询 flink&cdc + iceberg + doris
mojiezhongbb的博客
11-09 476
本文目的：为HDP 3.3.2.0的推广，接个力 Doris + FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
HDP3.3.2.0-002实践试范（2)
mojiezhongbb的博客
10-06 243
为HDP 3.3.2.0的推广，接个力 metrics logSearch
hdp3.2.1.0-001(Ambari2.7.6+hadoop3.2.4)arm版本
09-14
集成了hadoop3.2.4，hive3.1.3, spark3.2.1，kyuubi，ozone等组件...可以在hortonworks的hdp3.1.4版本上直接升级，安装步骤基本一致，其他信息可以访问www.hdp.link网站查看，由于文件太大，下载的文本为百度网盘地址。
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包
09-28
目录：Hidataplus->hdp3.1.0 说明：里面还有ubutntu18和centos7两个版本的 按需使用
HDP-GPL-2.6.4.0-centos7-rpm.tar.gz
09-04
HDP-GPL-2.6.4.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
10-25
离线安装amabri-2.7.4，之 HDP-UTILS-1.1.0.22-centos7.tar.gz
Ambari 2.1安装 HDP2.3.2 之 五、配置amabri-server
最熟悉的陌生人
05-30 6160
五、配置amabri-server配置ambari-server之前要先建立amabri要使用的数据库。1.为ambari建立数据库# yum install mysql-connector-java # mysql -u root -p mysql> USER 'ambari'@'%' IDENTIFIED BY 'glj887'; mysql> GRANT ALL PRIVILEGES ON
HDP3.3.2.0-002实践试范（6）
mojiezhongbb的博客
10-07 196
为HDP 3.3.2.0的推广，接个力 doris hue
HDP3.3.2.0-002实践试范（12）
mojiezhongbb的博客
10-11 378
拆成2章会更好点。12章MIT Kerberos HA ；13章FreeIPA HA。 本文目的：为HDP 3.3.2.0的推广，接个力 MIT Kerberos HA
【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1(HiDataPlus)
康师傅没有眼泪
09-25 5811
银河麒麟操作系统 V10 SP系列 是一款体验好用、安全好用、生态好用、行业好用的新一代图形化桌面操作系统，为用户开启安全可信、流畅愉悦的体验之旅。
HDP3.3.2.0-002实践试范（13）
mojiezhongbb的博客
10-18 150
为HDP 3.3.2.0的推广，接个力 FreeIPA 双主
国产开源ambari之DataSophon部署
JustinMars的博客
08-10 1464
datasophon部署 致力于快速实现部署、管理、监控以及自动化运维大数据云原生平台，帮助您快速构建起稳定、高效、可弹性伸缩的大数据云原生平台。
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2834
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
【大数据·Hadoop】从词频统计由浅入深介绍MapReduce分布式计算的设计思想和原理
最新发布
Yaoyao2024的博客
05-11 517
MapReduce的算法核心思想是：分治学过算法的同学应该会学到分治算法，所谓分治，就是把原问题分解为规模更小的问题，进行处理，最后将这些子问题的结果合并，就可以得到原问题的解。MapReduce这种分布式计算框架的核心就是：分治。上图是MapReduce的处理流程图，可以看到，MapReduce的整个过程主要分为：输入：来自存储在hdfs上的文件block进行分块（split）后，并且进行读取数据处理的分块数据的键值对（key-value)形式。
WPF TextBox文本框 输入提示
SJ15630070060的博客
05-08 337
WPF绑定如果是同类型可以直接生效，如果不是同类型则要求有Converter，下述类型是内置的，顾名思义就是bool到Visibility的转换器，注意Visibility是枚举值，有3个值，不是bool，因此需要转换。TextBox文本的背景颜色设置为透明，不然会无法看到 Label 内容。Grid标签里面创建Label和TextBox，这是一个整体。TextBox 不为空隐藏 Label。指定TextBox 的 Name 元素名称。TextBox 为空显示 Label。两个标签的前后顺序。
kk@kk:/usr/local/hadoop1$ ./bin/hadoop version ERROR: Cannot execute /usr/hdp/3.3.5.0-315/hadoop/libexec/hadoop-config.sh.
12-18
根据提供的引用内容，可能是由于Hadoop配置文件无法执行导致的错误。您可以尝试以下步骤解决此问题： 1.检查Hadoop配置文件是否存在，并确保具有执行权限。 2.检查Hadoop配置文件中是否存在错误或不完整的配置。 3.检查Hadoop安装目录是否正确，并确保已正确设置环境变量。 4.尝试将Hadoop安装目录链接到/opt/soft/目录，如下所示： ```shell ln -s /usr/hdp/3.1.4.0-315/hadoop/ /opt/soft/ ``` 5.尝试重新启动Hadoop服务并再次运行命令。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值