centos7 安装 hadoop 伪分布式

坑一:
安装hadoop-3.3.0的时候终于装好了https://downloads.apache.org/hadoop/common/hadoop-3.3.0/,告诉我各种jar包没有,只能转而去装3.2.1的版本,应该是我当时下的有问题,丢失了一些吧。。。。https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

坑二:
装hadoop的前一步是需要装java,然后因为有自带的想着自己再下一个,但是两个路径不一致,导致在配后期环境的时候这个java是原来的,又开始删除原来的,然后改环境变量,具体参考
https://blog.csdn.net/weixin_44297859/article/details/107007268

坑三:
org.apache.hadoop.ipc.RemoteException(java.io.IOException)异常,网上查是因为datanode没启动
jps命令检测当前的运行节点的时候,发现果然没有它,当时的内心是崩溃的。。。。
使用hadoop dfsadmin -report命令查看磁盘使用情况,节点下的存储空间都为空。。。
在这里插入图片描述
查到hadoop-3.2.1/logs下面的datanode的ID是Incompatible在这里插入图片描述
当我们使用hadoop namenode -format格式化namenode时,会在namenode数据文件夹中保存一个current/VERSION文件,记录clusterID,datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID,这样,datanode和namenode之间的ID不一致,datanode启动失败。
所以,复制日志中报错的那行的namenode的ID改到VERSION中对应的地方,就OK了

坑五(最大的坑):
好不容易看到jps有了datanode,然后。。。datanode没了。。。没了,试了很多办法,最后看到一个博主的文章,让重新执行就好了,就真的好了。。。。
在这里插入图片描述
坑六:
centos的防火墙由firewalld来管理,所以如果要用传统的方式来关闭,需要
安装iptables-services。
在这里插入图片描述
启动iptables+查看防火墙状态
在这里插入图片描述

具体安装方式:
主要参考:https://www.cnblogs.com/fengguozhong/p/11843467.html
次要参考:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值