Hadoop 警告 : WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException 解决办法

周二的晚上=素材爆棚时

我…在解决这个问题的时候左弄弄右弄弄被自己解决了,详细步骤也无法给出。

(报错的截图没存下来,但是由于一系列神奇的操作,文字部分保留了)
a
根据参考和老师所说的,总结如下:

  1. 看自己是否关闭防火墙了,防火墙没关可能导致这个原因(之前大概是,大数据第三节课有说过方法,可以去看一下)

  2. core-site.xml中没有配置hadoop运行时产生的文件的存储目录

如果上述都没问题的话,有可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致造成的

这时候就需要停止集群 stop-all.sh

然后删除在hdfs中配置的data目录(就是在core-site.xml中配置的hadoop.tmp.dir对应的文件)下面的所有数据rm -rf /home/user1/hadoop2.7/hadoopdata/*(注意这里的目录就是你core-site.xml中配置的hadoop.tmp.dir对应的目录)

接着重新格式化namenode(需要切换到bin目录)./hadoop namenode -format

最后重新启动hadoop集群再操作就可以啦

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值