CDH大数据节点宕机测试

一、集群现状

集群组件说明:目前集群中安装了若干大数据相关组件,包括HDFS、Hbase、Hive等存储相关组件与Flume、Spark、Kafka等数据采集与处理相关组件。
在这里插入图片描述
集群主机说明:目前集群中有5台主机,为同一台宿主机上的5台虚拟机。为确保HDFS副本正常分布,故主机cdh1、cdh2、cdh3的机架设置为“test1”,cdh4、cdh5的机架设置为“test2”
在这里插入图片描述

注:Hadoop在设计时考虑到数据的安全与高效,数据文件默认在HDFS上存放三份,存储策略为:
第一个副本放在其中一台节点中
第二个副本放置在与第一个副本所在节点相同机架内的其它节点上
第三个副本放置在不同机架的节点上

二、测试内容与目标

在集群中某一台节点完全宕机的情况下,通过新增主机的方式,能够恢复到集群原状态。其中包括但不限于以下几点:
1、 集群中所有数据正常不变,不丢失。
2、 集群中组件保证正常运行。
3、 新增主机正常运行,不出现异常。
我们选择cdh3作为宕机主机,目前cdh3所运行的服务如下所示,在cdh3宕机后,我们需要将新增主机安装同样的服务以恢复集群。
在这里插入图片描述

注:集群中所有节点在测试前都最好打上快照,不要问我为什么知道

三、节点删除
1、 首先我们让cdh3节点“宕机”,即将节点cdh3关机,集群呈现以下状态
在这里插入图片描述
在“主机”中将cdh3宕机节点删除,取消选中“跳过管理角色”,我们需要完成将此主机所有组件完全清除。
在这里插入图片描述
删除成功后即显示以下内容
在这里插入图片描述
然后我们将其从CM管理平台中删除,即为彻底将其节点清除
在这里插入图片描述
在上述操作都完成后,目前集群中只剩下4个节点,且集群现状如下
在这里插入图片描述

注:集群中Oozie出现异常的原因为Oozie Server节点安装在cdh3上,对本次测试影响不大,后续我们重新添加上即可

四、数据验证
检测一下hdfs中的数据健康情况,可以看到数据一切正常,并没有因为cdh3的宕机而造成数据丢失和出现坏块。
在删除cdh3主机时,集群自动做了数据平衡,将cdh3中的副本数据全都恢复至其他节点中去了。 在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH大数据运维,也就是Cloudera的分布式数据平台运维CDH是Cloudera公司基于Apache Hadoop开发的商业版分布式数据平台,主要用于存储和处理大规模数据。CDH大数据运维通常包括以下几个方面: 1. 集群部署和配置:CDH运维首先要进行集群的部署和配置,包括选择合适的硬件、安装操作系统、配置网络环境等。此外,还需要对CDH的各个组件进行适当的配置,如Hadoop、HBase、Impala等,以满足各种数据处理需求。 2. 资源管理和调度:CDH运维需要对集群中的资源进行管理和调度,以确保任务的顺利执行。这包括对CPU、内存、磁盘等资源的监控和分配,以及对任务的调度和优化。 3. 数据备份和恢复:CDH大数据运维还需要对存储在集群中的数据进行备份和恢复。这可以通过设置合适的数据备份策略和使用分布式文件系统来实现。当数据丢失或损坏时,可以快速恢复数据,确保数据的完整性和可靠性。 4. 性能优化:CDH大数据运维需要进行性能优化,以提高数据处理的效率和响应速度。这包括对集群中的各个组件进行调优和配置优化,以减少资源消耗和提高数据处理能力。 总之,CDH大数据运维一个综合性的工作,需要对分布式数据平台进行部署、配置、资源管理、备份恢复和性能优化等方面的工作。它的目标是确保集群的稳定运行,保障数据的安全性和可用性,提高数据处理的效率和性能。CDH大数据运维对于企业来说非常重要,可以帮助他们更好地利用大数据进行业务决策和创新。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值