解决外网无法访问HDFS文件系统②

最新推荐文章于 2023-04-28 14:57:54 发布

会撸代码的懒羊羊

最新推荐文章于 2023-04-28 14:57:54 发布

阅读量3.2k

点赞数

分类专栏： DataSet_Conf 文章标签： hdfs hadoop big data 大数据分布式

懒羊羊

本文链接：https://blog.csdn.net/kangqiao0422/article/details/122765000

版权

这篇博客主要探讨了外网通过Java API访问云服务器上的HDFS文件系统时遇到的问题，包括防火墙限制和连接超时。解决方案包括关闭防火墙，调整HDFS配置，以及解决Windows系统特有的64位环境兼容性问题。

摘要由CSDN通过智能技术生成

本地HDFS的javaAPI访问云服务器Hadoop问题引申

扩展于2021-12-29日解决外网无法访问HDFS文件系统①博文，直达链接已附上，两篇内容配合食用更佳。
在这里插入图片描述

防火墙开启导致的error，关闭防火墙并设置开机不自启，Spark和hadoop平台中，很多服务貌似都和防火墙有点冲突，所以最好还是直接设置防火墙开机不自启动吧。

# 查看防火墙状态
systemctl status firewalld
# 关闭防火墙
systemctl stop firewalld
# 设置开机不自启
systemctl disable firewalld

如果防火墙关闭后还不行可以在hdfs-site.xml设置"dfs.socket.timeout"值为60000。

<property>
        <name>dfs.socket.timeout<

关注

专栏目录