NameNode检查点状态报警：文件系统检查点已有 1 天，2 小时，23 分钟

最新推荐文章于 2021-04-26 15:32:40 发布
最新推荐文章于 2021-04-26 15:32:40 发布
阅读量4.9k 收藏 2
点赞数 2
分类专栏： 大数据 文章标签： Cloudera Manager CDH NameNode 检查点报警
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunfect/article/details/85639770
版权

今天发现CDH Hadoop集群的NameNode显示红色报警：
检查点状态
文件系统检查点已有 1 天，2 小时，23 分钟。占配置检查点期限 1 小时的 2,639.08%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 1,182 个事务。这是 1,000,000 的已配置检查点事务目标的 0.12%。
在这里插入图片描述

在这里插入图片描述

点击报警的NameNode，可以看到具体的错误信息：
在这里插入图片描述

尝试重启报警的NameNode
在这里插入图片描述

重启完毕后，惊喜地发现报警消失，重启大法有效！
在这里插入图片描述

sunfect
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
HDFS中的NameNode 检查点问题
wyj1023405602的博客
08-10 604
今天在登录CDH后发现HDFS上存在运行状况报警 由于CM会默认每隔1小时SNN会执行checkpoint操作，初步分析是SNN的checkpoint操作存在问题引起，查看SNN日志，发现如下报错。 很明显是由于SNN和NN的集群ID对不上导致的，分别查看NN所在节点（此处节点node0，文件路径/dfs/nn/current）和SNN所在节点（此处节点node1，文件路径/dfs/snn/current）的version文件确认。 ...
Namenode在每个整点出现RPC延迟告警故障排查
jingyi1219的博客
03-29 2276
问题描述： Namenode在每个整点都出现RPC延迟告警，告警期间Hadoop命令无返回结果。beeline连接不上hive，持续时间约5分钟左右 问题定位步骤及原因： 首先通过监控数据查看集群rpc队列等待时间和处理时间 2.统计audit日志看看rpc请求每秒的qps 3. 在hdfs审计日志目录下，执行这个命令 grep"cmd=contentSummary"hdfs-audit.log*|grep"src=/p...
NameNode故障处理
热门推荐
诗水人间
10-25 14万+
NameNode故障后，可以采用如下两种方法恢复数据。 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录； 1. kill-9 NameNode进程 2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） [angel@hadoop112 hadoop-2.7.2]$ rm -r...
检查点
bjguan's BLOG
02-05 1428
检查点描述 监视数据库写程序（DBWR）检查点完成的次数，以及服务器请求数据库写程序检查点数。 在数据库活动期间，数据写到内存缓冲区。检查点是完成将修改（脏）的块缓冲区写到存储器。数据库写程序（DBWR）进程将数据库缓冲区高速缓存中的脏缓冲区写到数据文件，以使数据文件与已作的更改一致。如果实例失败，则必须恢复内存中的数据。当请求 DBWR 扫描高速缓存并为检查点或恢复结束将所有
解决cdh中HDFS检查点状态不良问题
qq_44912070的博客
10-14 3973
web界面不良信息： 文件系统检查点已有 13天，23 小时，59分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 ***个事务。 查看secondnamenode日志 ； 我们可以看到出现两个不同的clusterID 查看nn和snn的current目录下的version文件 ； namenode所在主机version...
RHCE 学习笔记（14）- 文件系统 （1）
weixin_34060741的博客
01-05 77
这一节学习了RHEL的文件管理系统，主要包括了文件系统的查看，设备的挂载，创建链接和文件定位4个方面的知识点。首先来看看文件系统我们可以在/proc/partitions这个文件查看当前的分区通过df -h查看已经挂载了的设备-hT可以显示设备的文件系统类型有的挂载点路径比较长，自动分2行显示，可以-P强制一行显示如同进程有pid，用户有uid，每个文件系统也有自己的id，称为uuid，可以通过 ...
分布式文件系统和HDFS那点事
05-11
在检查点过程中，NameNode会将内存中的元数据更新后的状态写入到一个新的FsImage文件中，并清空当前的EditLog文件。这样一来，NameNode就可以在下次启动时更快地恢复元数据的状态。 #### 五、数据块的存储与管理 -...
02_Hadoop 分布式文件系统(HDFS).docx
02-24
SecondNameNode并非备用的NameNode，而是帮助NameNode定期合并fsimage和edits，生成新的检查点，减轻NameNode的压力。 DataNode是HDFS的工作节点，它们实际存储文件块，处理数据读写请求，并与NameNode保持通信，...
Hadoop分布式文件系统：架构和设计.pdf
最新发布
05-22
- **检查点**：通过Secondary Namenode定期创建的检查点，用于更新和备份Namenode的元数据。 - **数据冗余**：通过副本策略保证数据安全，即使部分节点失效，也能保证数据的完整性。 - **数据读取优化**：HDFS倾向于...
【HDFS篇07】NameNode和SecondearyNameNode1
08-04
1. **检查点检查：** SecondaryNameNode会周期性地询问NameNode是否需要进行检查点操作。检查点的触发条件包括时间间隔（例如，每小时一次）和Edits文件操作次数达到一定阈值。 2. **合并操作：** 当NameNode同意...
【HDFS篇08】NameNode故障处理1
08-04
1. 修改`hdfs-site.xml`配置文件，确保`dfs.namenode.checkpoint.period`设置为一个较短的时间，如120分钟，以增加检查点的频率。 2. 同样，强制停止NameNode进程。 3. 清除NameNode的数据目录。 4. 复制SNN的数据到...
secondaryNameNode 检查点设置
Java日常笔记精选的博客
07-08 398
secondaryNameNode 工作示意图 图片来源（hadoop权威指南） 1.创建检查点过程 a)nn上执行编辑日志滚动，产生新的编辑日志 b)2nn使用get复制nn上的image + edits c)2nn进行融合，产生新的Image d)2nn使用post发送新的Image到nn e)nn使用新的image覆盖旧的 2.2nn检查点创建周期 a)每隔...
关于检查点
u011209497的专栏
08-19 404
检点点为checkpoint
CDH学习记录
c123m的专栏
11-13 1073
目录 1. 离线安装(parcel) 1.1 环境 1.2 下线离线包 1.2.1 下线Cloudera Manager 1.2.2 下载cdh包 1.3 主机名及IP 1.3.1 cm 1.3.2 agent 1.3.3 验证 1.4 设置/etc/hosts 1.5 禁用ipv6 1.5.1 查看ipv6状态 1.5.2 关闭ipv6 1.5.3 验证 1.6 N...
环境篇：CM+CDH6.3.2环境搭建(全网最全)
萌兔兔MMQ！！
04-26 4953
环境篇：CM+CDH6.3.2环境搭建(全网最全) 一 环境准备 1.1 三台虚拟机准备 Master( 32g内存 + 100g硬盘 + 4cpu + 每个cpu2核) 2台Slave( 12g内存 + 100g硬盘 + 4cpu + 每个cpu1核) 参考地址： https://www.cnblogs.com/ttzzyy/p/12566281.html 1、准备的机器只要网络IP不冲突通并且可以正常访问网络即可，如机器资源不够，可自行分配所需要的资源，或者使用云服务 2、关闭防火墙，云服务还需要开启对
CDH6.3拆除namenode的高可用报错
NC_NE的博客
09-22 716
报错内容： 文件系统检查点已有 2 天，16 小时，54 分钟。占配置检查点期限 1 小时的 6,490.14%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 63,898 个事务。这是 1,000,000 的已配置检查点事务目标的 6.39%。 马上查看log文件发现secondarynamenode报错检测不到edits文件 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in d
CDH 问题
易水寒
05-31 3900
文件系统检查点已有 1 天，14 小时，36 分钟。占配置检查点期限 1 小时的 3,860.33%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 14,632 个事务。  2个可能；  1 ， namenode的Cluster ID 与 secondnamenode的Cluster ID 不一致，对比/dfs/nn/current/VERSION 和/dfs/snn/curr
cdh 问题
mllhxn的专栏
12-23 5588
1: solrcloud集群搭建完毕之后，进入web界面，总是提示there exists no core with name”*” 不要使用IE内核的浏览器2: [root@localhost ~]# service mysqld restart Stopping mysqld: [ OK ]
记一次CDH集群磁盘空间报警
激进的蜗牛
11-20 1073
事情经过: 早晨上班查看集群时发现集群HDFS和Yarn爆红,如下: 点进去发现HDFS报错为xxx机器的/data空间少于%10,/data是我们集群的数据存储文件夹.Yarn的报错为xxx机器日志存储文件空间不足.该日志存储位置也是在/data下面的. 集群因很久没有做过扩容而且数据一直在增加,在跑大的MR任务的时候,因为MR会生成临时文件,时常因为临时文件多而发出空间不足的警告.但...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值