hadoop问题分析

局域网,各主机系统不一样xp win7,全部虚拟机情况下,真是不好搞啊;

第二天就ip地址变化,改了/etc/hosts和conf/Slaves;

Error:

运行,发现一个slave不好使了。。。。泪奔中!

Slave-02中只有JobTracker进程,而没有datanode进程

netstat -a 查看Master中的端口号如下:说明只有Slave-01的9000端口出错了;


第一点:通过和网友沟通知道了:

ping只是网络层(ip)的测试
ssh默认端口是22,一般是通的,要不然你没法登陆了
telnet测试端口的

第二点:学会了查看hadoop日志,和日志分析

第三点:tcp6是什么?是不是该禁用ipv6呢?

禁止 IPv6 需要在启动内核后面加入“disable_ipv6=1” 做内核参数直接传递。 
修改grub:  gksu gedit /etc/default/grub 
  将 GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"变为 GRUB_CMDLINE_LINUX_DEFAULT="ipv6.disable=1 quiet splash"
让修改生效:sudo update-grub
Solution:  把 配置文件中dfs.data.dir在本地系统的路径下 的current/VERSION中的namespaceID改为与namenode一样。
Reason:当我们执行文件系统格式化时,会在namenode数据文件夹 (即配置文件中dfs.name.dir在本地系统的路径) 中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存 (即配置文件中dfs.data.dir在本地系统的路径) 的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值