HDFS块block丢失导致Metrics Collector多次重启产生告警

最新推荐文章于 2022-12-08 15:58:20 发布
最新推荐文章于 2022-12-08 15:58:20 发布
阅读量976 收藏
点赞数
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZhouyuanLinli/article/details/78021231
版权

因为集群升级扩容后多次断电、重启，可能导致存储在hbase中的监控数据的block丢了

su hdfs

hadoop dfsadmin -safemode leave（退出安全模式）



hadoop dfs -list-corruptfileblocks（检查HDFS丢失的block）

hdfs fsck / -delete（个人发现丢失block都是跟监控相关的不重要数据，索性执行此命令删除丢失的block）


修复hbase：

hbase hbck -fixVersionFile

hbase hbck -repair



源神
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS block丢失过多进入安全模式（safe mode）的解决方法
qq85609655的博客
04-14 139
HDFS block丢失过多进入安全模式（Safe mode）的解决方法 背景及现象描述(Background and Symptom)    因磁盘空间不足，内存不足，系统掉电等其他原因导致dataNode datablock丢失，出现如下类似日志：   The number of live datanodes 3 has reached the minimum number 0. ...
Prometheus 编写告警规则应对 metric 丢失的问题
月光游侠
02-03 3985
问题描述 Prometheus 很重要的一个功能是监控告警，比如一个服务 X 暴露了两个 metric：A，B，我们需要 metricA 的取值是 0 或 1，当 metricA == 1 时，说明业务有问题，需要触发告警。当服务 X 一直运行是上面的告警逻辑容易实现，expr: X{metric="metricA"} == 1 即可搞定。实际情况是，服务 X 本身可能挂掉，导致 prometheus 在服务 X 挂掉这段时间收到的 metricA 是缺失的，这个时候告警规则就不好写了，针对某些 metri
Ambari的Metrics Collector启动后自动关闭的解决
徐小慧_Blog的博客
08-30 1764
在使用Ambari的时候，由于种种原因，难免会出现这样那样的问题。今天，我们就来看一下Ambari-Metrics启动成功几秒钟后又自动关闭的解决办法。 1.如下图，某一节点Metrics Collector 启动后自动关闭 2.在安装Ambari-Metircs的机器上面查看服务是否关闭：使用ambari-metrics-monitor status和ambari-metrics-collector status命令查看。可以看到ambari-metrics-collector是停止状态。 3.如果服
ambari:Metrics Collector 异常，Metric collector host was blacklisted
高矮
07-30 926
文章目录异常报错问题原因解决 异常报错 ambari Portal UI监控图标不显示，查看ambari-metrics-monitor日志，出现如下错误： Metric collector host was blacklisted 问题原因 AMS元数据异常 解决 停掉AMS Ambari Metrics服务 清空/var/lib/ambari-metrics-collector 路径下的文件目录（可以被分出去） 清空hbase.rootdir 和 hbase-tmp目录(可以备份move出去)
Spring Boot Actuator 2.x 部分metrics指标丢失
CL有毒
09-15 2219
文章目录问题解决 问题 某一次对指标功能扩展后，访问/actuator/metrics或/actuator/prometheus，发现jvm相关指标丢失。 解决 搜索一段时间后，找到两个相关内容： Spring Boot 2 Actuator doesnt publish jvm metric Spring Actuator JVM metrics not showing when GlobalMethodSecurity is enabled 这两个问题最终都指向了一个github issue： So
HDFS block丢失，导致hadoop进入安全模式的解决方案
08-29
HDFS block丢失hadoop进入安全模式（Safe mode）的解决方法
大数据监控告警系统资源.rar
12-12
大数据监控告警系统是现代企业IT架构中不可或缺的组成部分，特别是在海量数据处理和分析的背景下，实时监控和预警显得尤为重要。此类系统能够帮助企业快速发现并解决问题，确保业务的稳定运行。下面将详细介绍大数据...
详解HDFS多文件Join操作的实例
08-29
HDFS 多文件 Join 操作实例详解 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在数据处理过程中， Join 操作是一种常见的数据处理方式，用于将多个文件或表格中的数据...
hdfs-block-reader-experiment
05-25
hdfs块阅读器 Clojure库旨在...好的，这取决于您。 用法 整我 执照 版权所有:copyright:2015 FIXME 根据Eclipse Public License 1.0版或（可选）任何更高版本分发。
可观测性-Metrics-当大量并发数据插入时，Influxdb丢失很多数据
laker的博客
12-08 1246
的内部机制是基于时间的时序性数据库，每一条记录都会有一个时间标识，如果客户端记录没给这个时间，influxdb会提供。相同的 measurement，tagset 和 timestamp 的数据会覆盖。组成，是不可以重复的，如果重复，后面的将覆盖前面的。
【HDFS】记一次由JN性能瓶颈导致的NN频繁宕机异常
Meepoljd的博客
08-02 1029
某年某月某日开始，测试环境的NameNode开始频繁宕机，基本上是每天都会稳定触发此问题；第一次查的时候看到和JN通信发生超时，然后就宕机了，但是当时JN服务又是正常的，遂没太上心，重启完事，结果后面又继续出此问题，所以还是进行排查顺便记录一下...
HDFS 学习
weixin_45512368的博客
07-22 961
Hdfs学习
cloudera-hdfs 告警处理
weixin_34384557的博客
03-13 171
2018-03-13 11:15:17,215 WARN [org.apache.flume.sink.hdfs.HDFSEventSink] - HDFS IO error org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is no...
大数据集群巡检
.
05-31 1438
公司使用的大数据集群是Cloudera，定期巡检，还是查出不少问题，后面进行优化。 Hadoop集群日常维护-总结 发现主要的几个问题如下， 1. HDFS 小文件过多 小文件问题是目前HDFS上存在的最大问题。可以使用hadoop fs -count命令，简单统计下文件数量较多的目录。 小文件很多是临时文件，建议定期清理。并检查业务逻辑，主要是什么导致的小文件过多，看能否通过修改处理逻辑来避免。 2. DNS域名解析不全 很多新加的边缘节点，没有配置全部的host，导致集群内部解析不全。虽不影响程
Ambari监控Metrics Collector启动不了问题
周源的专栏
03-14 6865
日志报错如下：2018-03-14 10:14:51,447 INFO  [SyncThread:0] server.ZooKeeperServer: Established session 0x162224871e30009 with negotiated timeout 120000 for client /172.16.76.9:526382018-03-14 10:15:02,114 WA...
Metrics 监控请求处理
随心的专栏
09-16 6766
1 引言 2 Widget 2.1 Widget相关的数据表 2.2Widget相关请求 3　Metrics 3.1Ambari Server Metrics Rest API 1 引言 Ambari处理Meterics相关的请求分为两部分：1，widget相关的，负责Metrics消息的布局、显示；2，metrics数据请求，负责获取实时数据。下面主要从这两方面...
Ambari-Metrics启动后自动关闭的解决
杂货铺的少掌柜
01-07 4794
在使用Ambari的时候，由于种种原因，难免会出现这样那样的问题。今天，我们就来看一下Ambari-Metrics启动成功几秒钟后又自动关闭的解决办法。 打开Ambari的dashboard，找到Ambari-Metrics，然后关闭服务 在安装Ambari-Metircs的机器上面查看服务是否关闭：使用ambari-metrics-monitor status和ambari-metrics-col
Ambari Metrics Collector 宕机问题处理
群演老何，代码为生
05-18 3650
今天收到现场 Ambari Metrics 宕机问题。 由于 Ambari Metrics 存储的是集群运行情况信息，在当前集群运行良好情况下，不是特别重要；所以我们采取删除重建的方式修复。以下为主要步骤: 1. 删除 Ambari Metrics 元数据 Ambari Metrics 使用 hbase 存储数据。hbase 元数据存储在 zookeeper 上。 查看 ams-hbase...
hdfs怎么查看块丢失
最新发布
05-29
您可以使用以下命令来查看HDFS上的块丢失情况： ``` hdfs fsck /path/to/file -files -blocks -locations ``` 其中，`/path/to/file`是您要检查的文件的路径。此命令将输出文件的块信息，以及每个块所在的位置和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值