hadoop上传文件到hdfs出错

最新推荐文章于 2023-02-12 23:13:09 发布

wj沧浪之水

最新推荐文章于 2023-02-12 23:13:09 发布

阅读量4.4k

点赞数 2

分类专栏： hadoop CentOS 文章标签： hadoop hdfs

本文链接：https://blog.csdn.net/u011698346/article/details/41896737

版权

在尝试通过命令上传文件到HDFS时遇到错误。排查过程中，排除了防火墙和启动顺序问题，最终发现是磁盘空间不足导致。通过df -ah检查空间使用情况，清理hadoop/logs中的日志释放空间，成功解决了问题。尽管如此，仍占用15G空间，寻求进一步清理建议。

摘要由CSDN通过智能技术生成

通过命令：

Hadoop fs  -put  /opt/program/userall20140828  hdfs://localhost:9000/tmp/tvbox/

上传文件到hdfs是出现错误

14/12/11 17:57:49 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/tvbox/behavior_20141210.log could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422) purpose
        at sun.reflect.GeneratedMethodAccessor9.invoke(Unknown Source)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

        at org.apache.hadoop.ipc.Client.call(Client.java:740)
        at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
        at com.sun.proxy.$Proxy0.addBlock(Unknown Source)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.r