外网无法访问HDFS解决方法

最新推荐文章于 2025-04-12 18:11:48 发布
最新推荐文章于 2025-04-12 18:11:48 发布
阅读量8.5k 收藏 23
点赞数 18
分类专栏： Hadoop 文章标签： Hadoop  HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vaf714/article/details/82996860
版权

文章目录

前提

  1. A 云主机是 Linux 环境，搭建 Hadoop 伪分布式，公网 IP：49.4.71.xxx，内网 IP：192.168.0.80，主机名：ruixin4。

  2. Hadoop 配置信息如下：

    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ruixin4:8020
最低0.47元/天 解锁文章
HDFS Datanode与Client之间的数据传输
坐禅小和尚的专栏
10-25 2988
在HDFS之中，Datanode与Namenode之间是通过RPC进行通信的；在Datanode和Client之间的通信通过两种方式来完成，一种是通过RPC（主要有三个方法recoverBlock、getBlockInfo、getBlockLocalPathInfo），另外一种方式是通过普通的socket。Client与Datanode之间的数据传输就是通过普通的socket来进行传输的。 在类
通过java代码上传文件到hdfs时，hdfs文件系统上的文件大小为o
weixin_43799054的博客
04-25 1523
原因：文件夹和文件名都是存放在 NameNode 上的，本地可以通过公网访问 NameNode，所以创建文件夹和文件都可以，但是当写数据的时候，NameNode 和DataNode 是通过内网通信的，NameNode 会返回给 DataNode 的内网 IP，本地就访问不了了。 所以在java代码中需要添加一句 conf.set("dfs.client.use.datanode.hostname...
电脑网络连接不上怎么解决？电脑网络无法连接internet，五种方法。从零基础到精通，收藏这篇就够了！
最新发布
logic1001的博客
04-12 9056
电脑网络连接不上是一个常见但又复杂的问题，可能由多种原因引起，包括硬件故障、网络配置错误、驱动问题或安全软件的干扰。通过逐步检查网络硬件、电脑设置、网络驱动以及防火墙设置，大多数情况下都能解决网络连接问题。如果这些方法都无效，联系网络服务提供商是最终的选择。掌握这些方法，可以帮助你在遇到网络问题时更加从容应对，快速恢复网络连接。
Android 用阿里oss上传图片成功但图片为0k的问题
chuanao8829的博客
06-14 1502
这几天用阿里的oss,由于半路加入的项目，对oss根本不熟悉，真是费劲死了。 遇到的问题如下： 1.oss异步上传需要的objectKey，这个根本不用md5，直接用java的UUID就行了，如下： String imgFileName = UUID.randomUUID().toStr...
HDFS上传文件大小为0问题
低头敲代码的博客
11-20 3953
问题： 在win主机上使用api向Linux的Hadoop集群上传文件时报错： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /wc/indata/data1.txt could only be replicated to 0 nodes instead of minReplication (=1).  Th...
问题大全（一）上传oss文件错误，大小为0
残冬十九
11-04 2812
问题大全（一）上传oss文件错误，大小为0 前言上传oss文件错误，大小为0问题现象问题原因解决方案 前言 这里记录下工作中遇到的问题，跟大家分享一下 这次遇到的是往oss上传文件遇到问题，上到成功后，oss文件大小为0。 上传oss文件错误，大小为0 问题现象 将文件上传到oss中，一切顺利，但是上传到oss之后，文件大小是0. 本地测试上传方法一切正常，上传之后的大小是正常的。 但是部署到服务器之后上传文件大小为0。 问题原因 上传oss文件的方法是多线程调用，并且其从了ossCient是单例的，所
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
今天使用自己的电脑，使用外网操作阿里云服务器上的HDFS。 报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 ...
解决外网无法访问HDFS文件系统②
02-01 3319
本地HDFS的javaAPI访问云服务器之上的Hadoop
Spark读取主机HDFS报错解决
qq_42797943的博客
08-20 1499
在本地机器使用SparkSQL读取hdfs上的文件并转换为DF的过程中出现报错 排除信息： 1.本地 Shell 可以正常操作，排除集群搭建和进程没有启动的问题 2.云主机没有设置防火墙，排除防火墙没关的问题 3.云服务器防火墙开放了 DataNode 用于数据传输服务端口 默认是 50010 4.我在本地搭建了另一台虚拟机，该虚拟机和本地在同一局域网，本地可以正常操作该虚拟机的hdfs，基本确定...
内网可以通过https来访问,外网不可以通过https来访问,怎么办
qq_43411265的博客
10-08 4605
解决此问题的具体步骤可能因您的网络环境和架构而有所不同。如果问题仍然存在，建议您联系网络管理员或技术支持团队以获取更详细的帮助和指导。
外网无法访问hdfs文件系统
qq_39551064的博客
11-28 361
标题报错java.net.ConnectException: Connection timed out: no further information 由于本地测试和服务器不在一个局域网,安装的hadoop配置文件是以内网ip作为机器间通信的ip. 在这种情况下,我们能够访问到namenode机器, namenode会给我们数据所在机器的ip地址供我们访问数据传输服务, 但是返回的的是datano...
外网无法访问云主机HDFS文件系统
liweihope的博客
06-05 1534
一、问题背景： 1.云主机是 Linux 环境，搭建 Hadoop 伪分布式 公网 IP：139.198.18.xxx 内网 IP：192.168.137.2 主机名：hadoop001 2.本地的core-site.xml配置如下： <configuration> <property> <name>fs.defaultFS</name&g...
上传文件到OSS存在的问题
java初级学习
08-25 1280
问题一： 小文件能上传，大文件上传失败。 一、请求体或者上传文件大小受限 解决办法：需要在配置文件里设置 max-file-size和max-request-size spring: servlet: multipart: max-file-size: 100MB max-request-size: 100MB 二、nginx上传文件大小受限 解决办法 设置nginx的nginx.conf 配置文件里设置 client_max_body...
如何访问局域网内其他电脑上虚拟机内搭建的HDFS
Kissshotのblog
10-15 2959
文章目录原因问题分析操作步骤 原因 在学校机房的电脑上用四台虚拟机搭建了高可用的完全分布式HDFS，然后想使用自己的笔记本电脑上的eclipse进行开发，但虚拟机网络设置为NAT连接，所以无法通过ip直接访问虚拟机，故寻找从外部连接虚拟机的方法。（没有尝试桥接方式，不了解桥接方式下如何操作，本文仅考虑NAT方式） 问题分析 NAT方式连接的虚拟机，其ip为内部地址，只有宿主机是真正的公网ip。虚拟...
Java程序向Hadoop HDFS写文件失败
青锋的博客
09-17 1185
对于刚刚学习大数据的同学来说，总会遇到各种各样的问题，并且网上的回答也是模模糊糊，看起来头痛不已，不过学习本来就是解决各种问题的过程，希望小伙伴们互相共勉，加油吧。 以下是我在用java程序向Hadoop的HDFS写文件的时候遇到的异常： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /testing/file01...
hdfs上传文件大小为零问题解决
cht0112的博客
06-08 6073
问题描述： 搭建了一个Hadoop集群，1Master+2Slave。完成后从客户端上传文件，上传后，文件创建，但文件大小为0。Hadoop的log信息如下： java.io.IOException: File /uploadResource/Resource_103/20170607162133115video.mp4 could only be replicated to 0
java 上传的图片大小为0_Java上传图片到Ftp，包含上传后文件大小为0的问题和Properties配置文件的读取...
weixin_35548251的博客
02-13 336
准备工作：需要使用coomos-net jar包。下载地址一、 上传图片到FTP，文件大小为0的问题，解决：将ftp模式修改为Passive模式就可以了。//将ftp模式修改为Passive模式ftpClient.enterLocalPassiveMode();1.使用.properties配置文件的形式定义相关常量。2.在工具类中导入配置文件private staticProperties ge...
阿里云上安装hadoop并远程操作
仰望星空
11-09 1761
前言: 在公司用到了hadoop,于是想搭建一个hadoop环境.从慕课网上找了门 Hadoop基础知识与电商网站日志数据分析课学了下,这是笔记,供本人复习之用. 目录 第一章 环境介绍 第二章 Hadoop的安装 2.1 jdk安装 2.2配置ssh登陆 2.2.1 配置让服务器能自己登陆自己 2.2.2 让本地能通过ssh远程连接阿里云服务器 2.3hadoop的安装 第...
hadoop hdfs web界面
02-26
### Hadoop HDFS Web UI配置与访问方法 #### 修改HDFS Web UI登录静态用户 为了确保能够以特定用户身份访问HDFS Web UI并解决权限问题，需编辑`core-site.xml`文件来设置网页登录使用的静态用户名。具体操作如下： ```xml <property> <name>hadoop.http.staticuser.user</name> <value>指定的用户名</value> </property> ``` 此段代码用于定义当通过浏览器访问HDFS Web界面时所采用的身份，默认情况下可能是`dr.who`这样的系统预设账户[^2]。 #### 启动Hadoop服务 完成上述配置之后，需要重启Hadoop集群使新的配置生效。通常这一步骤涉及停止现有进程再重新启动它们，命令可能类似于下面这样（实际路径取决于安装环境）: ```bash sbin/stop-dfs.sh sbin/start-dfs.sh ``` 这些指令会分别终止和初始化分布式文件系统的各个节点和服务组件[^1]。 #### 访问HDFS Web UI 一旦成功启用了Hadoop集群及其相关服务，就可以尝试连接到HDFS管理控制台了。默认情况下有两个主要端点可供选择： - **NameNode状态监控页面**: `http://<namenode-host>:9870` - **YARN资源调度器仪表板**: `http://<resourcemanager-host>:8088` 如果遇到网络连通性障碍，则应检查防火墙规则以及确认主机名解析无误。对于后者，在某些操作系统上可通过调整本地hosts文件实现更精确的名字映射关系[^3]。 #### 解决常见问题 针对无法定位至目标URL的情况，除了验证服务器运行状况外，还需留意是否有其他安全机制阻止外部请求到达目的地址。例如SELinux策略可能会干扰正常通信流程；另外就是确保客户端机器上的DNS查询功能完好以便顺利转换域名成IP地址。
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值