CDH 6.3.2启用YARN高可用

于 2023-02-28 09:23:07 发布
阅读量494 收藏
点赞数
分类专栏： CDH 大数据运维 文章标签： CDH CDH启用YARN高可用 YARN HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010839779/article/details/129254636
版权
升级原因

CDH平台即将被切换成生产环境，而生产环境几乎都是HA，所以需要将YARN升级成HA。

升级准备
  • CDH已经成功安装并正常使用
  • CMS的管理员账号正常登陆
CDH启用YARN HA

登陆CMS系统->选择YARN服务->点击进入到YARN服务详情页面，再依次进行如下的步骤：

  1. 选择启用YARN HA

    image-20230222114940764

  2. 配置YARN另一个ResourceManager

    image-20230222115427645

    点击选择一个主机如下图所示:

    image-20230222115124643

    选择成功后如下图：

    image-20230222115249628

    点击继续即可。

  3. YARN HA环境检查

    image-20230222121855852

    点击完成即可。

  4. 查看YARN的HA服务

    image-20230222122028585

    到此为止CDH启用HA完成！！！

  5. YARN的客户端配置(可选)

image-20230222121100497

到此为止，部署客户端配置完成。

大数据东哥(Aidon)
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
CDH节点宕机后HDFS和YARN高可用切换演练
weixin_33022765的博客
03-14 570
CDH节点宕机后HDFS和YARN高可用切换演练 一、 背景及目标 为保障CDH集群的高可用，提升CDH运维经验，实施本次CDH主节点和主节点宕机后的高可用切换演练。 主节点和子节点组件分配如下： 模拟bjhtom-ap-bigData-flink102主节点以及bjhtom-ap-bigData-flink105子节点的宕机。 二、 内容 停止bjhtom-ap-bigData-flink105子节点所有组件 停止bjhtom-ap-bigData-flink102 主节点所有组件（包括CDH管理组
适配CDH6.3.2的Spark3.2.2
08-16
Spark3.2.2是Apache Spark的一个重要版本，它提供了许多新特性和性能优化，而适配CDH6.3.2则意味着该版本的Spark已经经过了与Cloudera Data Hub (CDH) 6.3.2的兼容性验证。CDH是一个流行的Hadoop发行版，包含了...
CDH 6.x 开启NameNode HA（高可用性）
再难也要坚持的博客
04-02 1082
HDFS NameNode 的健康关系整个集群是否能正常运行，生产为了集群的高可用必须开启HA。社区版需要手动修改配置文件进行开启。使用cloudera manager只需在界面根据向导执行即可。 操作步骤: 在HDFS- 操作 -选择启用HA 填写nameservice名称 3.选择另外一台服务器安装namenode ，三个或5个节点安装journalnode 4.配置name...
YARN 高可用机制
weixin_30491641的博客
01-10 1345
YARN 的高可用：ResourceManager : 基于Zookeeper 实现高可用机制，避免单点故障。 NodeManager: 执行失败之后，ResourceManager 将失败任务告诉对应的ApplicationMaster , 由ApplicationMaster 来决定如何处理失败的任务。 ApplicationMaster: 执行失败之后，由ResourceMan...
YARN 高可用（HA）集群搭建（CDH）
leifeng100200的博客
09-28 1424
详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572 HDFS 高可用集群安装完成之后，紧接着快速搞定YARN的集群搭建。 1.修改YARN配置文件 1.1修改yarn-site.xml <configuration> <property> <name>yarn.resourcemanager....
CDH6.0.1高可用
L, there!
07-30 2209
CDH高可用主要是HDFS和YARN，在保证hdfs数据不丢失的情况下，即使有节点宕机，重启即可也不会有影响。 官网文档 目录 HDFS HA Hue 设置 Hive 设置 YARN HA Hive HA HBase HA HDFS HA 进入HDFS->操作->High Availability。 给备用NameNode命名。 这...
cdh6.3.2 集成 Phoenix
02-08
在大数据处理领域，CDH（Cloudera Distribution Including Apache Hadoop）是一款广泛使用的开源大数据平台，它包含了Hadoop生态系统中的多个组件，如HDFS、YARN、MapReduce、Hive等。而Phoenix是一个针对HBase的SQL...
cdh6.3.2安装包免费下载
最新发布
11-08
cdh6.3.2安装包，第二个文件，因为cdh的parcel包很大， 所以分成了三个。 里边的文件包含： CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel，1.93GB CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha，40字节 CDH-...
hive2.1.1-cdh6.3.2
05-08
这个压缩包文件“hive2.1.1-cdh6.3.2”包含了与CDH6.3.2兼容的Hive JDBC驱动程序和其他相关组件，这对于远程连接和操作Hive数据库至关重要。 首先，我们来看看包含的四个文件： 1. **hive-jdbc-2.1.1-cdh6.3.2-...
Flink-1.16.2 CDH6.3.2
09-26
CDH6.3.2集成安装Flink-1.16.2，所需的包都在文件里面了，不用再自己打包了 参考部署教程： https://blog.csdn.net/qq_31454379/article/details/110440037 https://www.cnblogs.com/lshan/p/16469294.html
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】
10-31
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建，还有自动化启动脚本。只需要复制粘贴命令，就可以完成。3台机器。相关资源可以留言发邮件，我发资料。cdh5.5.4 具体资源见截图。
CDH6.0、6.1篇：5、CDH的使用（hadoop ha、yarn ha）
laughing1997的博客
03-29 1436
本文分3个部分阐述 1.使用CDH注意事项 2.Hadoop HA 搭建 3.YARN HA 搭建 ----------------------------------------分割线------------------------------------------------------------- 1.使用CDH注意事项 1.每台机器：根据aliyun提供的服务进行 时间同步：ntpda...
cdh安装-hdfs,yarn,zk,hive,impala
xiaoxiaojavacsdn的博客
05-28 801
简介 Cloudera hadoop 是众多hadoop 开源发行版中较为活跃与稳定的版本，在hadoop生态各个组件的版本兼容上做了一部分的优化，适合在生产环境中使用，以下简称cdh。 其自带了web管理系统，方便部署角色，监控角色状态，称为Cloudera manager，以下简称cm。 基础组件版本： 组件 版本 os ...
yarn安装配置_CDH5.16.1安装Spark2.x,简称CDS安装（图解官网安装）
weixin_39800957的博客
11-28 180
一、找到Spark在哪里官网的文档地址：https://docs.cloudera.com/documentation/点击上面的Apache Spark2如下图，第一点是安装Spark的一些版本要求，我们点进去看下如下图，是安装spark之前的一些版本要求，自己去看下对应关系二、安装CDS2.1 安装Service Descriptor步骤a先要安装service descriptor，我们点击...
CDH配置HA模式
yang灬仔
11-01 1854
一、CDH配置HDFS的HA模式 1、进入HDFS集群——>点击“操作”——>点击“启用High Availability” 2、进入引导界面配置nameservice名称，可以使用默认的 3、点击“继续”之后配置第二个namenode所在的机器 4、配置JournalNode进程所在的机器 5、点击“继续”之后配置...
资源调度_CDH6.0.x Yarn 调度资源指南
weixin_42355665的博客
01-04 456
Yarn 工作架构最近随着集群大家开始频繁使用集群，资源调度的问题越发的凸显出来。需要更加深入的了解 yarn 资源调度的原理，以及到底在背后做了一些什么事情。来看一下下面这张图。yarn 里面有两个大的角色，这个也很容易在 yarn 里面的配置看到。一个是 Resource Manager 类似于 Master 角色负责任务分配，他会往 Node Manager 分配一个 App Master...
CDH5.14.4之HDFS-Hbase-Yarn的高可用配置
北京小辉
03-18 1483
需求： CDH5.14.4需要将HDFS、Hbase、Yarn做一个高可用设置 HDFS高可用配置 前提：在搭建cdh的时候是有一个secondNameNode角色,而在做HDFS的HA机制的时候会删除这个角色。同时需要JournalNode角色。步鄹如下： HDFS高可用结果如下： Hbase高可用配置 Hbase高可用如下： Yarn高可用配置 ...
【CDH】启动命令
BIG BOSS的博客
02-18 1384
systemctl start httpd service cloudera-scm-server start
cdh-配置HDFS和yarn的HA
DCHAO的博客
04-19 202
https://cloud.tencent.com/developer/article/1078380 注意： hdfs启动HA完成之后提示需要手动配置hue和hive，hive没问题，hue暂时还没找到怎么配
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据东哥(Aidon)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值