坑一:
安装hadoop-3.3.0的时候终于装好了https://downloads.apache.org/hadoop/common/hadoop-3.3.0/,告诉我各种jar包没有,只能转而去装3.2.1的版本,应该是我当时下的有问题,丢失了一些吧。。。。https://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
坑二:
装hadoop的前一步是需要装java,然后因为有自带的想着自己再下一个,但是两个路径不一致,导致在配后期环境的时候这个java是原来的,又开始删除原来的,然后改环境变量,具体参考
https://blog.csdn.net/weixin_44297859/article/details/107007268
坑三:
org.apache.hadoop.ipc.RemoteException(java.io.IOException)异常,网上查是因为datanode没启动
用jps
命令检测当前的运行节点的时候,发现果然没有它,当时的内心是崩溃的。。。。
使用hadoop dfsadmin -report
命令查看磁盘使用情况,节点下的存储空间都为空。。。
查到hadoop-3.2.1/logs下面的datanode的ID是Incompatible
当我们使用hadoop namenode -format格式化namenode时,会在namenode数据文件夹中保存一个current/VERSION文件,记录clusterID,datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID,这样,datanode和namenode之间的ID不一致,datanode启动失败。
所以,复制日志中报错的那行的namenode的ID改到VERSION中对应的地方,就OK了
坑五(最大的坑):
好不容易看到jps
有了datanode,然后。。。datanode没了。。。没了,试了很多办法,最后看到一个博主的文章,让重新执行就好了,就真的好了。。。。
坑六:
centos的防火墙由firewalld来管理,所以如果要用传统的方式来关闭,需要
安装iptables-services。
启动iptables+查看防火墙状态
具体安装方式:
主要参考:https://www.cnblogs.com/fengguozhong/p/11843467.html
次要参考:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html