解决Hadoop集群多次进行格式化导致DataNode不启动不能正常储存文件

最新推荐文章于 2023-10-13 17:13:06 发布

原创

最新推荐文章于 2023-10-13 17:13:06 发布 · 2.5k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #big data #java #linux

格式化命令只需要在Hadoop集群初次启动前执行一次即可，后续重复启动时就不需要执行格式化了。如果再次执行格式化，集群会出错，不能正常存储文件。

报错信息如下

21/09/13 06:05:29 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hxg.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.
	at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1550)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3110)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3034)
	at org.apache