HDFS | 在本地使用java api上传文件到阿里云ECS报错解决

最新推荐文章于 2022-10-20 21:30:38 发布
最新推荐文章于 2022-10-20 21:30:38 发布
阅读量550 收藏 5
点赞数 3
文章标签： hadoop hdfs 大数据 阿里云 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44249833/article/details/106533826
版权
在使用Java API上传文件到阿里云ECS上的HDFS时遇到报错。问题在于NameNode返回DataNode的私网IP导致本地无法访问。解决方案包括：1) 配置Hadoop XML文件，让NameNode返回DataNode主机名而非内网IP；2) 在阿里云ECS安全组中开放DataNode的端口；3) 更新本地Hosts文件以映射DataNode主机名。经过这些步骤，文件成功上传到HDFS。
摘要由CSDN通过智能技术生成

使用文件流上传文件报错

首先，确认报错信息。
在这里插入图片描述
之前在使用虚拟机搭建完全分布式的时候曾经测试过使用IO流上传文件到HDFS并且成功，而这次报错发生在我将hadoop集群换成了在阿里云的伪分布式集群后。

阿里云ECS基本信息

Ubuntu 18.04
123.57.x.x(公网)
172.17.51.183(私网)

阿里云ECS hosts文件
在这里插入图片描述

检查一下伪分布式下hadoop集群的配置信息

hdfs-site.xml
在这里插入图片描述
core-site.xml
在这里插入图片描述
shell命令正常执行，
jps显示NameNode，DataNode，SecondaryNameNode

解决

添加配置信息

文件夹和文件名都是存放在 NameNode 上的，本地可以通过公网访问 NameNode，所以创建文件夹和文件都可以，但是写数据的时候，NameNode 和DataNode 是通过内网通信的，NameNode 会返回给本地 DataNode 的内网 IP，本地就访问不了了。

所以在代码中添加下面配置信息，可以使得NameNode不返回DataNode的私网IP，取而代之返回的是DataNode的主机名。

//1.获取fs对象
Configuration conf =
最低0.47元/天 解锁文章
给我一杯珍珠奶茶
关注
阿里云Hadoop集群 Java客户端操作（血泪啊！！！）
qq_37847316的博客
02-06 412
所报错误： 服务的端配置：在hdfs-site.xml中添加 <!-- 如果是通过公网IP访问阿里云上内网搭建的集群 --> <property> <name>dfs.client.use.datanode.hostname</name> <value&...
hadoop java 上传文件_（4）通过调用hadoop的java api实现本地文件上传到hadoop文件系统上...
weixin_42519772的博客
02-16 291
(1)首先创建java project选择eclipse菜单上File->New->Java　Project。并命名为UploadFile。(2)加入必要的hadoop jar包右键选择JRE System Library，选择Build Path下的Configure Build Path。然后选择Add External Jars。到你解压的hadoop源码目录下加入jar包和li...
java上传文件到阿里云服务器_java上传文件到OSS云服务器（一）
weixin_34566429的博客
02-13 758
之前做springboot项目中遇到文件上传到OSS云服务器,然后把文件路径返回给手机端。文件上传是java web中常见的操作，文件上传主要是将文件通过IO流传放到云服务器一、请求controller，暴露接口请求@RestController()public class UpLoadController {@PostMapping("/uploadImFile")public Response...
java 上传hdfs_通过javaAPI上传文件到HDFS文件系统
weixin_29015483的博客
02-16 410
import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apac...
hdfs java flush_HDFS Java API 常用操作
weixin_39567870的博客
02-28 105
packagecom.luogankun.hadoop.hdfs.api;importjava.io.BufferedInputStream;importjava.io.File;importjava.io.FileInputStream;importjava.io.InputStream;importjava.net.URI;importorg.apache.hadoop.conf.Config...
HDFS中java API操作以及缺乏配置文件的报错
m0_51679196的博客
08-29 972
HDFS中Java API操作
使用Java Api操作HDFS过程详解
08-25
使用Java API 操作 HDFS 过程详解 Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例...
hdfs 拷贝文件 java_使用java API操作hdfs--拷贝部分文件到hdfs
weixin_35275781的博客
02-24 1466
要求如下：自行在本地文件系统生成一个大约一百多字节的文本文件，写一段程序(可以利用Java API或C API)，读入这个文件，并将其第101-120字节的内容写入HDFS成为一个新文件。import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStream...
使用javaAPI对HDFS进行文件上传，下载，新建文件及文件夹删除，遍历所有文件
最新发布
weixin_72949830的博客
10-20 3066
使用javaAPI对HDFS进行文件上传，下载，新建文件及文件夹删除，遍历所有文件
Java程序部署到服务器上,接口请求下载文件失败/文件为空/文件名不对的问题
08-18
主要介绍了Java程序部署到服务器上,接口请求下载文件失败/文件为空/文件名不对,本文给大家分享错误原因及解决方法，需要的朋友可以参考下
Hadoop2.7.3客户端之Java API上传/下载文件
若兰幽竹
03-17 1872
Hadoop2.7.3客户端之Java API上传/下载文件 在Idea或eclipse中创建maven项目 在pom.xml中添加hadoop依赖（请参考前面的博文） 编写测试代码 上传代码/** * 文件上传：从本地上传文件到HDFS上 * 思路： * 1、明确目的地，Configuration设置HDFS * 2、利用FileInputStream，读取本地文件 * 3、通过FileSystem对象调用create方法，在hdfs创建一个空文件，并返回输出流FSDataOutputStream *
java-hdfs-client上传文件报错：......replicated to 0 nodes instead of minReplication (=1)....
风一样的少年
08-06 288
使用java的hdfs-client上传文件的时候报下面的错误 Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /javaTest/bus.html could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running and 3 node.
Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法
bikun的专栏
05-10 8998
1. 问题描述：          Eclipse中开发Java Web程序，使用Hadoop-Core JAR包中的Java API，上传文件到Hadoop HDFS文件系统中，上传提示成功，但是在Hadoop集群中通过“hadoop fs –ls /xxx”命令却无法查看到相应的上传文件。 2. 问题原因分析：          其实，本次文件上传并未成功！在To
【HDFS】 文件下载失败：找不到 XXX 的服务器 IP 地址（主机访问找不到虚拟机IP）
懂得一千零一种,赋予你失败的方法！
12-26 1590
问题： 在将jar包放在集群中运行成功后，转存到hdfs上。打开hdfs，想要下载结果文件查看时，出现了找不到虚拟机的IP地址。 分析 下载访问hdfs的时候，域名解析没有找到相对应的IP地址。 解决方案 — 在hosts文件中添加虚拟机IP 找到C盘下的hosts文件 打开 ，在最后添加上虚拟机IP及其名称 由于是C盘可能会有权限原因，这里我使用火绒安全软件直接修改，然后保存退出。 再次进入hdfs，点击下载，就可以了~ 当然，如果添加的虚拟机含有主从节点（伪分布式.
hadoop file write
珍惜
03-23 311
apache.hadoop.ipc.Server: IPC Server handler 6 on 9000, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 192.168.2.163:52966 Call#9 Retry#0java.io.IOException: File /user/root/dbout/...
HDFS中JavaAPI对文件的上传、查询
GYT0313
10-26 2335
Ubuntu + Hadoop2.7.3集群搭建：https://blog.csdn.net/qq_38038143/article/details/83050840 Ubuntu配置Eclipse + Hadoop环境：https://blog.csdn.net/qq_38038143/article/details/83412196 操作环境：Hadoop集群，4个DataNode。 1.创...
java api操作HDFS
成都往右的博客
10-05 833
java api操作HDFS
Hadoop搭建伪分布式 & 上传和下载文件
Java小技巧
07-07 1610
环境： VMware-workstation-full-10.0.0-1295980.exe CentOS-6.7-x86_64-bin-DVD1.iso     开始：     个人习惯自己创建了两个目录 一个来放要安装的软件 一个来放软件安装的地址 解压安装jdk 配置jdk 配置完成之后重启才可以生效 我们执行一个命
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值