hadoop环境移植出现的bug解决

最近在不同环境下使用hadoop分布式计算。

懒得重新配置新环境(相对比较复杂 而且配置稍不留神bug多多),考虑虚拟机移植的便捷性直接进行了移植。

但是移植后发现启动hadoop出现各种bug(比如:namenode datanode 间歇性失灵 )。

我不断尝试重新格式化 和 删除 tmp目录的方式,试了好几次,问题仍然没有解决。

【后来发现tmp目录所有结点全部删除才奏效 但是这样系统运行的一些重要数据会丢失 这种方法不到万不得已不可取】


记得印象中重新格式化系统会生成一个ID(具体名字不太记得),于是查了下,在hadoop目录下
对于NameNode /tmp/dfs/name/current/VERSION文件会有记录

对于DataNode   是/tmp/dfs/data/current/VERSION文件会有记录

因此,发现不需要重新格式化、删除tmp目录等方法。


解决方案

将master的VERSION文件内的ID 改为与slaves一致即可

或 反过来 

slaves的VERSION文件内的ID 改为与master一致。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值