Hadoop安装问题记录
下载安装
首先是下载hadoop,可以选择国内源下载,因为hadoop官方下载实在是太慢了。
北京理工大学开源镜像站:hadoop各版本下载地址
下载完成后,按照官方安装文档来进行安装。
因为我是学习使用,所以只是在虚拟机上安装的单机模式方便学习。
遇到的问题
1.java环境
官方建议使用sun jdk,但是由于还要注册Oracle才能下载,我感觉太麻烦了,所以选择openjdk,一开始选择的版本是13,然后浏览hdfs目录时显示如下错误:
Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error
百度了一下,说是jdk版本的问题,后来换成了jdk8就正常了。
2.启动hadoop失败
问题一:启动时,提示Cannot set priority of datanode process xxxxx
解决方法:确认$HADOOP_HOME/etc/hadoop/core-site.xml的配置是否配正确。
问题二:无法访问50070端口
解决方法:首先在$HADOOP_HOME/etc/hadoop/hdfs-site.xml更改开放端口的绑定IP
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
重启hadoop
如果还是无法访问,则检查系统防火墙是否关闭。