Hadoop伪分布式环境搭建错误及解决

本文介绍了在搭建Hadoop伪分布式环境时遇到的namenode和datanode进程无法启动的问题。问题源于多次format导致的namespaceID不一致。解决方法包括更新dfs.name.dir和dfs.data.dir中VERSION文件的namespaceID,并避免频繁reformat namenode。
摘要由CSDN通过智能技术生成

1.start-all.sh并jps发现没有namenode进程执行以下命令一般可以解决

hadoop namenode -format

2.start-all.sh并jps发现没有datanode进程
成因:由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的 namespaceID 不一致,从而导致namenode和 datanode的断连。

(因为在多次format中 有 reformat namenode的提示,多次format中不用已知都选Y 去format namenode的 namespaceID ,这样很容易造成ID不一致的情况)

问题解决:hadoop format 初始化后 先不急着startall, 打开hdfs-site.xml ,找到dfs.name.dir和dfs.data.dir的路径。

将因format更新的 dfs.name.dir/current/VERSION中的namespaceID 更新到 dfs.data.dir/current/VERSION中的namespaceID中去(改的是dfs.data.dir中的ID)

dfs.name.dir:

namespaceID=125032091  
cTime=
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值