解决DataNode Volume Failures故障

最新推荐文章于 2024-05-22 17:49:44 发布

DV2

最新推荐文章于 2024-05-22 17:49:44 发布

阅读量1w

点赞数 3

分类专栏： Hadoop-HDFS 文章标签： hadoop hadoop集群 cloudera

本文链接：https://blog.csdn.net/team77/article/details/51566554

版权

本文档描述了一台运行在Cloudera集群上的DataNode节点因硬件故障被剔除并重新加入时遇到的DataNode卷故障问题。解决过程中，通过分析日志发现磁盘UUID不匹配，通过编辑VERSION文件并重启DataNode节点成功解决了故障。故障的根本原因是应用了不同的配置模板导致数据目录变更。

摘要由CSDN通过智能技术生成

一、概述

hadoop集群有一台DataNode节点发生硬件故障，由于后需需要长时间的处理，所以从Cloudera集群中剔除了该节点，在重新将该节点添加到集群时候发现DataNode节点爆DataNode 卷故障阈值警告

二、解决过程

2.1、排查故障

排查DataNode日志发现如下错误：


2016-06-02 10:19:55,214 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Failed to add volume: [DISK]file:/disk0/dfs/dn/
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /disk0/dfs/dn is in an inconsistent state: Root /disk0/dfs/dn: DatanodeUuid=0b9e33dc-984e-4679-a03b-4271362d3e53, does not match a5cd8b10-e7d4-40a9-bc6d-f5c0526d16e9 from other StorageDirectory.
        at org.apache