CDH平台断电事故

于 2024-03-11 15:24:46 发布
阅读量89 收藏
点赞数 4
分类专栏： 大数据 相关技术 文档总结 文章标签： CDH 断电事故
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41367158/article/details/136624421
版权

断电事故报告

一、事故概述

2023年12月1日，一次偶然的半分钟断电，通电后发现集群无法正常启动。

二、事故原因调查

1.集群做了一个高可用，NameNode节点一个是master01, 一个是master03, 发现master02 和master03两个节点的 jn 下元数据为空，master01中jn元数据信息是全的。如下图：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 查看日志-发现报错信息：如下图

tail -f /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-master03.log.out

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据侠客
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
CDH大数据节点宕机测试
欢迎来到李奇峰的数据世界
05-25 956
一、集群现状 集群组件说明：目前集群中安装了若干大数据相关组件，包括HDFS、Hbase、Hive等存储相关组件与Flume、Spark、Kafka等数据采集与处理相关组件。 集群主机说明：目前集群中有5台主机，为同一台宿主机上的5台虚拟机。为确保HDFS副本正常分布，故主机cdh1、cdh2、cdh3的机架设置为“test1”，cdh4、cdh5的机架设置为“test2” 注：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为: 第一个副本放在其中一台节点中 第
记一次惊险的CDH6.3.2集群断电后重启的过程
quantam的博客
10-11 276
用navicat打开数据后发现确实在metastore库下是没有CM_VERSION这张表的，但是在scm下有，然后我就自己在metastore库里面建一个一样的，不知道有没有用。终于启动起来了，然后登录http://xxx:7180/cmf/home 去看哪些服务没起的就手动起就完了。当时我记得配数据库的时候是用scm的，不知为啥变成metastore了，现在改回来。查看服务是否启动，显然结果是failed。
CDH集群意外处理：集群个别主机断电处理
小蚯蚓的博客
08-06 726
一、 问题描述 大数据CDH集群几台机器莫名断电，CDH集群10台，5台莫名宕机，包括管理节点01。然后服务被关闭，但是，那些依旧开机的服务依旧开启。 二、 解决办法 思路就是重新开启cm然后，通过cm管理服务器，重新开启对应服务。 1.关闭CDH集群02节点上的备份mysql，重启01和02的mysql数据库 2.重启CDH的01节点的cm服务 3.登录：CM服务的7180服务...
cdh平台安装详细教程
热爱生活，忠于自己
10-23 1925
CDH Cloudera版本平台安装基本流程
cdh断电后故障解决 -- process information unavailable
m0_49027804的博客
10-20 214
机房断电，服务器意外关机，-- process information unavailable
hadoop基础----hadoop实战(十三)-----hadoop管理工具---断电后重启CDH集群步骤
直到世界的尽头
05-02 4625
我们在CDH集群运维过程中，偶尔会遇到机房突然断电的情况，我们来梳理下遇到机房断电之后的CDH集群恢复步骤，以免无从下手。在调试CDH集群之前，肯定需要先重启好服务器，以及确保他们的网络畅通。下面记录恢复CDH集群的步骤:首先需要启动CDH的server服务,并查看状态sudo /etc/init.d/cloudera-scm-server start sudo /etc/init.d/cloude
CDH意外断电故障，全部进程process information unavailable
L, there!
09-08 820
断网后CM进不了，jps查看发现全部process information unavailable 状态。 ps -ef | grep 18785 发现进程不存在，说明真的是进程已经挂了。 解决办法 防止有假死进程，最好把process information unavailable都检查一下，细心总是没错的。 确定都挂的，进入tmp下，可以看到一堆 hsperfda...
CDH集群断电重启后DataNode无法连接到NameNode
等闲之辈莫等闲的博客
08-23 874
周末公司断电，之后发现集群一个DataNode无法连接到NameNode，看了日志和页面报错一致。在网上查资料，尝试了刷新DataNode节点（`hdfs dfsadmin -refreshNodes`）、查看hosts、查看防火墙等方法，都没有效果。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/d46a74a5bfd54ecb8af827fd54cf5c95.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVp
手把手教你在centos7下搭建大数据CDH5.15.2平台（5个节点）
huicooling的博客
04-27 2082
1、CDH的介绍 1.1 CDH是什么？ hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。截至目前为止，CDH共有5个版本，其中，前两个已经不再更新，最近的两个，分别是CDH4在Apache Hadoop 2.0.0...
大数据平台CDH6.2.0安装部署
10-27
大数据平台CDH6.2.0安装部署 大数据平台CDH6.2.0安装部署是指使用Cloudera Manager 6.2.0版本安装和部署大数据平台的过程。该过程包括安装Cloudera Manager Server、配置MySQL数据库、部署CDH Parcel文件、配置...
企业级大数据平台CDH详细搭建过程
11-28
【企业级大数据平台CDH详细搭建过程】 CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的一款企业级大数据处理平台，它包含了多个开源Apache项目的集成，如Hadoop、Hive、HBase、Spark...
大数据平台CDH和Impala的使用
02-24
Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称CDH），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度...
pi_heif-0.17.0-pp310-pypy310_pp73-macosx_12_0_x86_64.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
mmexport1722080103662.jpg
07-27
mmexport1722080103662.jpg
matlab 20244a 6
07-27
matlab 20244a 6
pi_heif-0.17.0-cp310-cp310-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
pillow-10.4.0-cp312-cp312-musllinux_1_2_aarch64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
大数据平台CDH详细搭建过程及Cloudera Manager介绍
企业级大数据平台CDH的搭建过程包括CDH架构及安装、Hadoop安装、Hive安装、Hbase安装、Spark安装、Kafka安装以及其他的安装测试等步骤。 首先，CDH是一个企业级大数据平台，其架构包括了Cloudera Manager和各个组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值