hadoop完全分布式搭建datanode无法启动原因

折腾了大半天,终于成功搭建完毕环境。其中耽误时间最长的是datanode无法启动。其实是自己的低级错误。。


3台虚拟机,一台master,两台salve。


第一次错误,查看日志,是hdfs-site.xml文件配置拼写错误。


第二次到第N次 都是  slave无法连接到master ,以下是我检查的方向:

1.master 和 slave的防火墙确认是关闭的。

2.再次检查配置文件:fs.default.name 和mapred.job.tracker  的value值  master和ip都试试。

3.再第一次发生错误修改完毕后,format namenode时无法成功,这是因为配置的dfs.name.dir和dfs.data.dir文件目录没有删除 ,需要手动删除master和slave的相关文件夹。

4.ssh连接。 配置完ssh无密码登陆之后 , 需要连接一次(第一次连接会让你输入yes?),这正是我花费时间最长的地方。master连接slave,slave也要连接master。之后再format,启动hadoop,jps查看进程 成功启动。 


从这次搭建环境中,学会了试着分析日志找到问题,同时通过一步步排除可能的原因得到最后的原因。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值