安装hadoop 2.5遇到的问题记录

最新推荐文章于 2022-03-25 16:51:48 发布

a494567309

最新推荐文章于 2022-03-25 16:51:48 发布

阅读量279

点赞数 1

分类专栏： java springboot hadoop

本文链接：https://blog.csdn.net/a494567309/article/details/80583062

版权

在安装Hadoop 2.5过程中遇到了包括下载问题、资源管理器启动失败、YARN Web页面无法访问等系列问题。通过浏览器手动下载Hadoop 2.5，解决JAVA_HOME路径问题，调整YARN端口冲突，并修改配置文件以使用主机IP，最终成功访问YARN服务。

摘要由CSDN通过智能技术生成

安装hadoop 2.5 我参考的是 https://blog.csdn.net/hliq5399/article/details/78193113#t4 里面的伪分布式部署。

基本按照教程安装就可以了，我只说我遇到的问题。

1、下载hadoop2.5

http://203.187.160.133:9011/archive.apache.org/c3pr90ntc0td/dist/hadoop/core/hadoop-2.5.0/hadoop-2.5.0.tar.gz

wget 我下载不下来，可以直接使用浏览器下载。

2、启动resourcemanager

使用教程里面的方式启动使用jps 看发现没有resourcemanager的进程。然后查看日志，日志位置/opt/modules/hadoop-2.5.0/logs 里面的 yarn-eshadoop-resourcemanager-localhost.localdomain.log 文件里面，不是.out文件。

日志看到错误发现时找不到jdk 。需要在/opt/modules/hadoop-2.5.0/etc/hadoop 里面的hadoop-env.sh 找到export JAVA_HOME=${JAVA_HOME} 将这个注释掉。然后重新写一行 export JAVA_HOME=/usr/java/jdk1.8.0_131 如果不知道jdk位置可以使用 [root@localhost hadoop]# $JAVA_HOME 这个命令看。

3、YARN的Web页面

jps 查看进程发现全部进程启动成功后访问192.168.48.4/8088 8088端口被占用了，但是我isof -i:8088没有发现端口占用，这个还不明白为什么。我只能修改下端口。需要在/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml 中加入