hadoop上传文件时WARN hdfs.DFSClient: DataStreamorg.apache.hadoop.ipc.RemoteException(java.io.IOException)

最新推荐文章于 2021-07-07 12:20:39 发布

IT_NEU_Lee

最新推荐文章于 2021-07-07 12:20:39 发布

阅读量3.3k

点赞数 1

分类专栏：分布式计算框架大数据

本文链接：https://blog.csdn.net/IT_NEU_Lee/article/details/82717517

版权

在使用Hadoop上传文件时遇到DataStreamer Exception，提示无法复制到指定节点。问题根源可能是NameNode被format多次，导致DataNode无法运行。解决方法包括检查DataNode状态、修改core-site.xml配置、重新format并启动集群。

摘要由CSDN通过智能技术生成

安装好Hadoop后一直没有用今天往hdfs上传文件的时候突然出现如下bug,翻看别人的博客和相关查找后发现是自己当时可能使用了两次hadoop namenode -format 命令

hadoop dfs -put ~/words.txt /test
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

18/09/15 20:29:36 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/words.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
   at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1620)
   at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3135)
   at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3059)
   at org.a