HDFS块丢失集群一直处于安全模式解决办法
今天在集群运行的时候突然断电了,服务器重启后,发现提交yarn任务一直报hdfs处于安全模式的错,然后查看hdfs状态,果真丢失两个数据块,导致块数量达不到99.9%。
解决方法
- 首先退出hdfs namenode safe mode
hadoop dfsadmin -safemode leave
- 查看集群块状态
hadoop fsck /
- 将丢失的块全部删除(必须退出安全模式才能执行)
hdfs fsck / -delete //此方式会将丢失的块全部删除
- 此时再查看hdfs块状态,已经正常了。(也可以重启集群测试)
参考:https://www.jianshu.com/p/0b41ab357452?from=singlemessage