CDH节点宕机后HDFS和YARN高可用切换演练

最新推荐文章于 2024-09-27 18:10:37 发布
最新推荐文章于 2024-09-27 18:10:37 发布
阅读量586 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： hadoop hdfs mapreduce cloudera yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33022765/article/details/114759351
版权
本文介绍了在CDH节点宕机后，如何进行HDFS和YARN的高可用切换演练。在CentOS 7.4上，通过模拟CDH主节点和子节点宕机，停止并重新启动相关组件，验证了集群在主节点故障后的HDFS和YARN服务仍能保持正常运行，实现了高可用性。
摘要由CSDN通过智能技术生成

CDH节点宕机后HDFS和YARN高可用切换演练

本次测试环境：

  • 操作系统：CentOS 7.4
  • CM/CDH版本：CM5.15.2/ CDH5.15.2

一、 背景及目标

为保障CDH集群的高可用，提升CDH运维经验，实施本次CDH主节点和主节点宕机后的高可用切换演练。
主节点和子节点组件分配如下：
各节点组件分配情况

模拟bjhtom-ap-bigData-flink102主节点以及bjhtom-ap-bigData-flink105子节点的宕机。

二、 内容

  1. 停止bjhtom-ap-bigData-flink105子节点所有组件
    在这里插入图片描述
  2. 停止bjhtom-ap-bigData-flink102 主节点所有组件（包括CDH管理组件）
    在这里插入图片描述
  3. ssh登录bjhtom-ap-bigData-flink102 停止CDH Server以及CDH Agent
/opt/cm-5.15.2/etc/init.d/cloudera-scm-server stop
/opt/cm-5.15.2/etc
最低0.47元/天 解锁文章
网红猪
关注
专栏目录
记一次生产环境cdh6.3.2集群yarn组件nodemanager节点down掉的事故分析
nhm_lxy的专栏
10-08 436
cdh6.3.2集群yarn组件的nodemanager不可用原因分析
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】（部分图片来源于网络）
シ風
07-29 403
1.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂。 HDFS的高可用实质是主备共享存储系统，不管是zookeeper还是QJM都是这个原理，一下是基于zookeeper的高可用集群搭建。 1.1 高可用整体架构 HDFS 高可用架构如下： HDFS 高可用架构主要由以下组件所构成： A
keepalived对nginx高可用演练脚本
weixin_33967071的博客
04-01 80
keepalived对nginx高可用演练脚本   参考文章：http://deidara.blog.51cto.com/400447/302402/   1、安装nginx、keepalived、epel-release源 yum install -y epel-release yum install -y nginx yum install -y keepalived ...
Data Migration高可用演练
TiDB 社区干货传送门
03-24 488
作者：Haaahei 原文来源： https://tidb.net/blog/3898f3dd ...
Etcd 高可用故障演练
clay's blog
06-19 152
通过本次演练，我们验证了 Kubernetes 的 etcd 子系统的高可用性，并了解了在一个节点发生故障的情况下，其他节点是如何接管其工作的。在实际生产环境中，我们建议对 Kubernetes 集群的 etcd 子系统进行高可用性测试，以确保集群能够稳定、可靠地运行。此外，我们还应定期检查 Kubernetes 集群的各个组件状态，确保其正常运行，避免出现故障导致的服务中断。
高可用测试/灾备演练- 关注点
rachel_2016的博客
08-08 184
重点关注：
CDH角色迁移和硬盘扩容
最新发布
sinat_36709196的博客
09-27 779
CDH节点管理和迁移
HDFS集群优化
weixin_44361667的博客
03-02 307
操作系统级别优化 1.优化文件系统 （推荐使用EXT4和XFS文件系统，相比较而言，更推荐后者，因为XFS已经帮我们做了大量的优化。） 2.预读缓冲 　　预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256 sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048 sectors。预读缓冲区的设置可以通过blockdev命令来完成。 3.放弃RAID和LVM磁盘管理方式，选用JBOD 复制代码 不使用RAID 　　应避
【甘道夫】HBase随机宕机事件处理 & JVM GC回顾
甘道夫的大数据进化论
01-04 4851
一、引言 本文记录了困扰团队两周的HBase随机宕机事件的解决方案，并回顾了JVM GC调优基础知识，供各位参考。 欢迎转载，请注明出处： 二、实验环境 16台虚拟机，每台4G内存，1核CPU，400G硬盘 Ubu
IT系统应急演练方案
09-25
IT系统应急演练方案；对IT信息系统高可用和实际故障应急操作的运营演练方案的材料，供大家参考和学习，这里只贴PPT材料
基于华为云的入门级跨可用区高可用实战演练
NicolasLearner的博客
03-30 330
基于华为云进行了一次跨可用区高可用实站演练，本次案例非常简单，涉及到的内容并不是很多，实际的业务中，所要考量的细节内容远远不是本文所能涵盖的，本文仅抛砖引玉，通过本次演练，期待新手也可以对华为云的基础云架构有些基本的了解。 本次实战将网站负载到华为云 北京一的 两个可用区，当一个可用区的服务器发生故障时，会根据规则，自动创建新的服务器，以达到高可用的目的。 本文主要应用了华为云的如下服务： 弹性云服务器ECS 云服务器是具有完整硬件、操作系统、网络功能，并且运行在一个完全隔离环境中的计算机系统。云服务
CDH大数据节点宕机测试
欢迎来到李奇峰的数据世界
05-25 973
一、集群现状 集群组件说明：目前集群中安装了若干大数据相关组件，包括HDFS、Hbase、Hive等存储相关组件与Flume、Spark、Kafka等数据采集与处理相关组件。 集群主机说明：目前集群中有5台主机，为同一台宿主机上的5台虚拟机。为确保HDFS副本正常分布，故主机cdh1、cdh2、cdh3的机架设置为“test1”，cdh4、cdh5的机架设置为“test2” 注：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为: 第一个副本放在其中一台节点中 第
CDH 6.3.2启用YARN高可用
Aidon博客
02-28 528
CDH 6.3.2启用YARN高可用，生产中YARN通常都是高可用，故生产环境下几乎都是需要将CDH中的YARN高可用开启。
Yarn HA(高可用)架构
huonan_123的博客
11-28 1288
Yarn 集群部署 高可用架构
5-3企业高可用方案-keepalived配置和演练
weixin_34281477的博客
04-29 213
通知脚本的使用方式：示例通知脚本：#！/bin/bash#contact='root@localhost'---定义谁能接收，将来是一个数组，用python来编写，连接真正的邮件服务器，去发真正的邮件 notify() { local mailsubject="$(hostname) to be $1,vip floating"---float流动 ...
YARN 高可用（HA）集群搭建（CDH）
leifeng100200的博客
09-28 1442
详尽的视频讲解，请查看该地址：https://edu.csdn.net/course/detail/9572 HDFS 高可用集群安装完成之后，紧接着快速搞定YARN的集群搭建。 1.修改YARN配置文件 1.1修改yarn-site.xml <configuration> <property> <name>yarn.resourcemanager....
CDH cm节点高可用方案
热门推荐
wulantian的专栏
06-18 1万+
近期因工作需要，对CDHcm管理节点的高可用做了些相关的测试，测试大概分2部分。具体如下，希望有兴趣的同学可以多交流学习。   1. cm节点关于postgres数据库的备用节点高可用。   2. cm节点关于mysql数据库的备用节点高可用。 测试需求：因线上cm管理节点是单点，一旦cm管理节点的服务器宕机，那么整个CDH集群的管理就受到影响。主要是不方便管理。如果熟悉相关的命令，
CDH6.0.1高可用
L, there!
07-30 2224
CDH高可用主要是HDFS和YARN，在保证hdfs数据不丢失的情况下，即使有节点宕机，重启即可也不会有影响。 官网文档 目录 HDFS HA Hue 设置 Hive 设置 YARN HA Hive HA HBase HA HDFS HA 进入HDFS->操作->High Availability。 给备用NameNode命名。 这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值