HDFS启动后元数据报错解决

最开始是数据写不进去 报错:

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /datas/hudi_datas/hive/hudi-ts/chuancan_TEst/.hoodie/metadata/files/.files-0000_00000000000000.log.1_0-0-0 could only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s) running and 3 node(s) are excluded in this operation.

此时应意识到是datanode出现文件块损坏,但选择了重启

grep "ERROR"  xxx.log

hdfs为HA部署、其中一个Namenode启动失败。报错如下:

2023-09-25 18:51:27,025 ERROR org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [172.18.1.5x:8485, 172.18.1.5x:8485, 172.18.1.56:8485], stream=null))

JournalNode 报错如下:
2023-09-25 18:38:00,076 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNodeSyncer: Aborting current sync attempt.
2023-09-25 18:38:36,277 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: RECEIVED SIGNAL 15: SIGTERM
2023-09-25 18:51:08,294 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNodeSyncer: Download of Edit Log file for Syncing failed. Deleting temp file: /data/dfs/jn/nameservice1/edits.sync/edits_0000000000056969091-0000000000056969870


JournalNode 为3、4、5节点。但4、5节点报错。所以判断3节点元数据无问题,采用节点3为恢复元数据节点。


解决:
1.首先备份3、4、5节点的nameservice1目录
2.将3节点的 /data/dfs/jn/nameservice1  拷贝至4、5节点 之后启动

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值