hadoop3访问hdfs web控制页面遇到的各种问题总结

最新推荐文章于 2024-05-16 17:19:14 发布

置顶 L_学无止境

最新推荐文章于 2024-05-16 17:19:14 发布

阅读量1.2w

点赞数 13

分类专栏： hadoop 文章标签： hadoop linux hdfs

本文链接：https://blog.csdn.net/u011489186/article/details/111578874

版权

hadoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

问题1：浏览器访问不了hdfs web

问题2：浏览器点击Browse the file system打开文件系统报错：Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error

问题3：浏览器HDFS文件系统上传文件时报Couldn't upload the file错误

最近通过虚拟机安装配置了hadoop集群，集群虽然搭建起来了，不过通过浏览器访问管理界面的过程中遇到了一些问题，现整理总结一下。

问题1：浏览器访问不了hdfs web

可能的原因：

(1).防火墙未关闭时，无法通过浏览器访问hdfs web页面。先查看防火墙的状态：

firewall-cmd --state

如果防火墙为开启状态，需要关闭防火墙(集群所有节点都需要关闭，不然通过控制台无法传文件到文件系统)：

systemctl stop firewalld.service

防火墙关闭后，重新打开浏览器：

(2).hadoop默认的hdfs web控制界面的端口为9870，如果在hdfs-site.xml中没有配置dfs.namenode.http-address项，可以尝试用默认端口访问。

问题2：浏览器点击Browse the file system打开文件系统报错：Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error

这个问题查找了相关资料，发现是Java版本过高导致的，我用的是jdk11，hadoop3目前对jdk8支持得更好。于是卸载掉jdk11相关组件，重新安装jdk8并配置jdk环境变量。

查看软件版本
rpm -qa|grep jdk
卸载软件
yum -y remove java **

然后更改hadoop-env.sh中JAVA_HOME中的配置即可。

更新配置并重启hadoop服务后，重新打开Browse the file system，已经正常了。

问题3：浏览器HDFS文件系统上传文件时报Couldn't upload the file错误

F12打开谷歌控制台，看到报as been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.错误，大概意思是由于跨域访问CORS policy策略，访问阻塞了：

于是查阅了hadoop相关配置信息，将hadoop跨域访问过滤器加上：

<!--安全认证初始化的类-->
<property>
    <name>hadoop.http.filter.initializers</name>
    <value>org.apache.hadoop.security.HttpCrossOriginFilterInitializer</value>
</property>
<!--是否启用跨域支持-->
<property>
    <name>hadoop.http.cross-origin.enabled</name>
    <value>true</value>
</property>
<!--允许跨域访问的来源，如果有多个，用逗号(,)分隔-->
<property>
    <name>hadoop.http.cross-origin.allowed-origins</name>
    <value>*</value>
</property>
<!--允许跨域的方法列表，如果有多个，用逗号(,)分隔-->
<property>
    <name>hadoop.http.cross-origin.allowed-methods</name>
    <value>GET,POST,HEAD</value>
</property>
<!--允许跨域的标头列表，如果有多个，用逗号(,)分隔-->
<property>
    <name>hadoop.http.cross-origin.allowed-headers</name>
    <value>X-Requested-With,Content-Type,Accept,Origin</value>
</property>
<!--预检请求可以缓存的秒数-->
<property>
    <name>hadoop.http.cross-origin.max-age</name>
    <value>1800</value>
</property>

然后重启hadoop服务后，浏览器重新上传文件，还是报同样的错误。不过此时通过日志(logs/hadoop-hadoop-namenode-master.log)可以看到跨域过滤器已经开启了。那是什么原因导致浏览器还传不了文件呢？