NameNode检查点状态报警：文件系统检查点已有 1 天，2 小时，23 分钟

最新推荐文章于 2023-05-05 20:03:37 发布
最新推荐文章于 2023-05-05 20:03:37 发布
阅读量4.9k 收藏 2
点赞数 2
分类专栏： 大数据 文章标签： Cloudera Manager CDH NameNode 检查点报警
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunfect/article/details/85639770
版权

今天发现CDH Hadoop集群的NameNode显示红色报警：
检查点状态
文件系统检查点已有 1 天，2 小时，23 分钟。占配置检查点期限 1 小时的 2,639.08%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 1,182 个事务。这是 1,000,000 的已配置检查点事务目标的 0.12%。
在这里插入图片描述

在这里插入图片描述

点击报警的NameNode，可以看到具体的错误信息：
在这里插入图片描述

尝试重启报警的NameNode
在这里插入图片描述

重启完毕后，惊喜地发现报警消失，重启大法有效！
在这里插入图片描述

sunfect
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
CDH6.3拆除namenode的高可用报错
NC_NE的博客
09-22 713
报错内容： 文件系统检查点已有 2 天，16 小时，54 分钟。占配置检查点期限 1 小时的 6,490.14%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 63,898 个事务。这是 1,000,000 的已配置检查点事务目标的 6.39%。 马上查看log文件发现secondarynamenode报错检测不到edits文件 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in d
ambari平台的NameNode Last Checkpoint（HDFS上一次检查点异常分析）错误
weixin_43943841的博客
01-05 2716
1.ambari平台出现这个报错点开来具体查看发现Active NameNode和Stanby NameNode都有上一次检查点的告警。 2.解决方法是要我们手动保存一次HDFS的检查点 ubuntu系统： 输入以下命令 sudo -u hdfs hdfs dfsadmin -safemode enter sudo -u hdfs hdfs dfsadmin -saveNamespace sudo...
HDFS中的NameNode 检查点问题
wyj1023405602的博客
08-10 594
今天在登录CDH后发现HDFS上存在运行状况报警 由于CM会默认每隔1小时SNN会执行checkpoint操作，初步分析是SNN的checkpoint操作存在问题引起，查看SNN日志，发现如下报错。 很明显是由于SNN和NN的集群ID对不上导致的，分别查看NN所在节点（此处节点node0，文件路径/dfs/nn/current）和SNN所在节点（此处节点node1，文件路径/dfs/snn/current）的version文件确认。 ...
解决cdh中HDFS检查点状态不良问题
qq_44912070的博客
10-14 3958
web界面不良信息： 文件系统检查点已有 13天，23 小时，59分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 ***个事务。 查看secondnamenode日志 ； 我们可以看到出现两个不同的clusterID 查看nn和snn的current目录下的version文件 ； namenode所在主机version...
Namenode在每个整点出现RPC延迟告警故障排查
jingyi1219的博客
03-29 2263
问题描述： Namenode在每个整点都出现RPC延迟告警，告警期间Hadoop命令无返回结果。beeline连接不上hive，持续时间约5分钟左右 问题定位步骤及原因： 首先通过监控数据查看集群rpc队列等待时间和处理时间 2.统计audit日志看看rpc请求每秒的qps 3. 在hdfs审计日志目录下，执行这个命令 grep"cmd=contentSummary"hdfs-audit.log*|grep"src=/p...
关于检查点
u011209497的专栏
08-19 404
检点点为checkpoint
CDH学习记录
c123m的专栏
11-13 1068
目录 1. 离线安装(parcel) 1.1 环境 1.2 下线离线包 1.2.1 下线Cloudera Manager 1.2.2 下载cdh包 1.3 主机名及IP 1.3.1 cm 1.3.2 agent 1.3.3 验证 1.4 设置/etc/hosts 1.5 禁用ipv6 1.5.1 查看ipv6状态 1.5.2 关闭ipv6 1.5.3 验证 1.6 N...
环境篇：CM+CDH6.3.2环境搭建(全网最全)
萌兔兔MMQ！！
04-26 4941
环境篇：CM+CDH6.3.2环境搭建(全网最全) 一 环境准备 1.1 三台虚拟机准备 Master( 32g内存 + 100g硬盘 + 4cpu + 每个cpu2核) 2台Slave( 12g内存 + 100g硬盘 + 4cpu + 每个cpu1核) 参考地址： https://www.cnblogs.com/ttzzyy/p/12566281.html 1、准备的机器只要网络IP不冲突通并且可以正常访问网络即可，如机器资源不够，可自行分配所需要的资源，或者使用云服务 2、关闭防火墙，云服务还需要开启对
02_Hadoop 分布式文件系统(HDFS).docx
02-24
SecondNameNode并非备用的NameNode，而是帮助NameNode定期合并fsimage和edits，生成新的检查点，减轻NameNode的压力。 DataNode是HDFS的工作节点，它们实际存储文件块，处理数据读写请求，并与NameNode保持通信，...
Hadoop分布式文件系统：架构和设计.pdf
05-22
- **检查点**：通过Secondary Namenode定期创建的检查点，用于更新和备份Namenode的元数据。 - **数据冗余**：通过副本策略保证数据安全，即使部分节点失效，也能保证数据的完整性。 - **数据读取优化**：HDFS倾向于...
【HDFS篇07】NameNode和SecondearyNameNode1
08-04
1. **检查点检查：** SecondaryNameNode会周期性地询问NameNode是否需要进行检查点操作。检查点的触发条件包括时间间隔（例如，每小时一次）和Edits文件操作次数达到一定阈值。 2. **合并操作：** 当NameNode同意...
【HDFS篇08】NameNode故障处理1
08-04
1. 修改`hdfs-site.xml`配置文件，确保`dfs.namenode.checkpoint.period`设置为一个较短的时间，如120分钟，以增加检查点的频率。 2. 同样，强制停止NameNode进程。 3. 清除NameNode的数据目录。 4. 复制SNN的数据到...
hadoophdfs写入文件原理详解共2页.pdf.zip
10-30
10. **检查点**：为了防止NameNode的元数据过于庞大，HDFS会定期创建检查点，将NameNode的内存状态保存到磁盘，以减轻其负担。 这些是HDFS写入文件的基本原理，但实际操作中还会涉及更多细节，如RPC（Remote ...
CDH 问题
易水寒
05-31 3893
文件系统检查点已有 1 天，14 小时，36 分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 14,632 个事务。  2个可能；  1 ， namenode的Cluster ID 与 secondnamenode的Cluster ID 不一致，对比/dfs/nn/current/VERSION 和/dfs/snn/curr
cdh 问题
mllhxn的专栏
12-23 5581
1: solrcloud集群搭建完毕之后，进入web界面，总是提示there exists no core with name”*” 不要使用IE内核的浏览器2: [root@localhost ~]# service mysqld restart Stopping mysqld: [ OK ]
cdhmanager 启动失误导致的满屏挂红
vbaspdelphi的专栏
03-09 430
怀疑是cdhmanager的key knowhosts问题 导致cdhmanager和cdhslave2 都无法agent正常上报稍后要出详细报告.一些技术点可以记录下来: cdhmanager 的进程如何彻底关闭 ps aux | grep cm-5 | awk '{print $2}' | xargs -i kill -9 {} 如何重置一个节点 # 如果是agent, rm -rf /opt/
[1192]获取CDH集群告警并通过钉钉告出
周小董
05-05 257
参考：https://blog.csdn.net/weixin_40817778/article/details/119249820。钉钉群机器人特征字为：告警。
记一次CDH集群磁盘空间报警
激进的蜗牛
11-20 1070
事情经过: 早晨上班查看集群时发现集群HDFS和Yarn爆红,如下: 点进去发现HDFS报错为xxx机器的/data空间少于%10,/data是我们集群的数据存储文件夹.Yarn的报错为xxx机器日志存储文件空间不足.该日志存储位置也是在/data下面的. 集群因很久没有做过扩容而且数据一直在增加,在跑大的MR任务的时候,因为MR会生成临时文件,时常因为临时文件多而发出空间不足的警告.但...
CDH集群中NameNode处于safe mode问题的解决
sunfect的博客
01-01 5535
在安装配置完3个节点的CDH集群后，在cloudera manager的主界面中显示HDFS的红色报警，点进去以后看到如下错误： 该NameNode当前处于safe mode. 尝试在报错的hadoop01节点上手动disable safe mode： hdfs dfsadmin -safemode leave root用户的权限竟然不够！好像只能通过Cloudera Manager的管理...
namenode secondary namenode
最新发布
07-28
NameNode和Secondary NameNode是Apache Hadoop中的两个重要组件。 NameNode是Hadoop分布式文件系统（HDFS）的主要组件之一。它维护了整个文件系统的元数据，包括文件和目录的层次结构、文件块的位置等信息。NameNode还负责处理客户端的读写请求，并协调数据节点（DataNode）上的数据块的复制和恢复操作。 Secondary NameNode并不是NameNode的备份，它是NameNode的辅助组件。Secondary NameNode的主要作用是帮助NameNode进行元数据的合并和检查点的创建。它定期从NameNode获取文件系统的编辑日志（Edit Logs）和内存镜像（In-Memory Image），合并它们并创建检查点（Checkpoint）。这样可以减少NameNode启动时加载元数据所需的时间，并提供一种恢复机制以防止元数据损坏。 需要注意的是，Secondary NameNode并不能自动接管NameNode的工作，当NameNode发生故障时，需要手动将Secondary NameNode切换为新的NameNode。此外，从Hadoop 2.0版本开始，Secondary NameNode已经被称为Checkpoint Node，功能有所变化。 希望这个简介对你有所帮助！如果你有更多问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值