IDEA上传 HDFS文件出错

最新推荐文章于 2023-03-26 17:03:52 发布

thinkhui

最新推荐文章于 2023-03-26 17:03:52 发布

阅读量1.6k

点赞数 3

分类专栏： Hadoop系列文章标签： HDFS NameNode DataNode

本文链接：https://blog.csdn.net/fenghuibian/article/details/88809962

版权

在阿里云服务器上，使用IDEA上传HDFS文件遇到错误。搭建的伪分布集群中，虽然其他HDFS操作正常，但上传文件时失败。分析发现可能是由于IDEA客户端无法访问DataNode导致。解决方法包括：在hdfs-site.xml中设置dfs.client.use.datanode.hostname为true，确保NameNode返回DataNode的hostname，以及开放阿里云服务器的9866端口以允许DataNode通信。

摘要由CSDN通过智能技术生成

错误如下：

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/c.txt could only be replicated to 0 nodes instead of minReplication (=1).  
There are 1 datanode(s) running and 1 node(s) are excluded in this operation. 
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1595)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3287)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:677)

...

查看NameNode日志如下：
在这里插入图片描述