hadoop fs -put localfile . 时出现如下错误: could only be replicated to 0 nodes, instead of 1...

hadoop fs -put localfile . 时出现如下错误:
could only be replicated to 0 nodes, instead of 1
网友的说法:

这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了。

这个异常主要是因为hdfs文件系统出现异常,解决方法是:
先停hadoop;
到hadoop.tmp.dir这里配置路径清除文件;(hadoop.tmp.dir默认:/tmp/hadoop-${user.name})
然后hadoop namenode -format;
最后重启hadoop

有可能客户端防火墙问题:所以除了服务器外,slave(即datanode)也需要sudo /etc/init.d/iptables stop关闭防火墙

重新格式化后把Datanode保存数据块目录中的tmp目录删掉试试看

format之后之前的datanode会有一个ID,这个ID没有删除,所以会拒绝当前Namenode链接和分配。所以需要删除 原来的datanode中的hdfs目录。user和tmp然后再格式化,即可

不需要删除datanode的ID,只需要将datanode的进程号修改为namenode的进程号.
在/tmp目录先看看能不能找到他的进程文件,打开修改一下即可

我也遇到这个问题,让我鼓捣了半天,最后打开eclipse,用dfs视图把里面一个文件删除了,就好了


我来个暴力点的:
bin/stop-all.sh
hadoop fs namenode -format
bin/start-all.sh
终于弄好了,不过这有点恨,不能每次都format,以后碰到类似问题再试一下其他方法。

 

我的情况是:我在namenode上也起了一个datanode,第二次启动时没启动这个节点上的datanode ,后来启动以后就好了

 

转载于:https://www.cnblogs.com/lfxiao/p/10432127.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值