使用Java实现HDFS文件读写，解决报错：java.net.UnknownHostException

最新推荐文章于 2022-10-26 16:18:29 发布
最新推荐文章于 2022-10-26 16:18:29 发布
阅读量1.8k 收藏 4
点赞数 3
文章标签： java hadoop linux hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41639302/article/details/107042202
版权
本文介绍了在使用Java进行HDFS文件操作时遇到`java.net.UnknownHostException`的问题及其解决方法。错误源于Java无法解析主机名'hadoop01'。通过分析，发现该问题是由于系统未正确配置hosts文件导致的。解决方案是在Windows的hosts文件中添加对应Linux虚拟机的IP和hostname映射。
摘要由CSDN通过智能技术生成

首先要确保你的电脑上配置了hadoop环境变量
在windows系统中安装配置hadoop环境变量

错误来源

我想用JAVA实现HDFS文件读写，所以在maven项目中写了如下的测试方法：

@Test
    public void testCopyFromLocalFile() throws URISyntaxException, IOException, InterruptedException {
   
        //1、创建配置文件
        Configuration conf=new Configuration
最低0.47元/天 解锁文章
白修修
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop配置HA后，hive查询时出现 SemanticException java.net.UnknownHostException: hadoop
清盏涂墨衣
11-06 648
我的原因是配置HA时改变了主机名称，导致与元数据中的主机名不一致。 解决办法： 修改下面两张表 DBS ： Hive数据仓库的总路径 SDS ： Hive每张表对应的路径 使用sql语句替换 hadoop是我以前的主机名称 hadoop01是我现在的主机名称 update DBS set DB_LOCATION_URI=REPLACE (DB_LOCATION_URI,'hadoop','ha...
【kettle集成cdh6.1】hadoop file output浏览目录报错：java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId
01-07
【kettle集成cdh6.1】外部数据源读写hdfs若干错前言环境报错问题分析解决办法后记 前言 最近试着上手了一下kettle，搭建过程很简单，就是下载个包解压一下，但是在配置数据源的过程中着实踩了不少坑，这里记录一下。...
Hadoop格式化HDFS报错java.net.UnknownHostException: centos0
漫天雪_昆仑巅
09-05 1691
在hadoop安装配置过程中，对HDFS格式化$ hdfs namenode -format出现错误；java.net.UnknownHostException: centos0如下：查看机器名称$ hostname解决方式：修改hosts映射文件vi /etc/hosts修改成以下配置，centos0为机器名称，127.0.0.1 localhost c
使用hdfs 的 Java API创建目录显示java.net.UnknownHostException:解决方法
danyWui的博客
07-07 644
解决方法： 我把core-site.xml和hdfs-site.xml文件放到工程下，然后new Configuration的时候会自动找到工程下的hdfs-site.xml读取，然而这个hdfs-site.xml中的node01，node02，程序不知道是什么东西，最后把hdfs-site.xml和core-site.xml中的node01 ，node02，node03，node04改为IP地址就解决了问题，不需要把集群端的core-site.xml和hdfs-site.xml文件改动，只改导入工程的co
HDFS格式化失败，java.Net.UnknownHostException异常处理方法
user_lib的博客
04-15 2856
一、HDFS格式化失败 报错代码： WARN net.DNS: Unable to determine local hostname -falling back to "localhost" java.net.UnknownHostException: hadoop000: hadoop000 at java.net.InetAddress.getLocalHost(InetAddress.ja...
hadoop格式化HDFS报错java.net.UnknownHostException
赫家旺的博客
04-10 1434
报错信息：   host:java.net.UnknownHostException: centos-wang: centos-wang: unknown error  在执行hadoop namenode -format命令时，出现未知的主机名。     问题原因：     出现这种问题的原因是Hadoop在格式化HDFS的时候，通过hostname命令获取到的主机名与/etc/...
使用Java API操作HDFS分布式文件系统
最新发布
04-11
通过上述Java API，开发者可以构建出复杂的HDFS操作逻辑，实现数据的高效读写、管理和处理。在实际应用中，还需要考虑性能优化、容错机制以及与其他Hadoop生态组件的集成。例如，结合MapReduce进行大规模数据处理，...
JAVA操作HDFS案例的简单实现
08-29
JAVA操作HDFS是指使用JAVA语言来操作HDFS文件系统，实现文件的上传、下载、删除、创建目录等基本操作。 2. HDFS的基本操作 HDFS提供了多种基本操作，包括文件上传、下载、删除、创建目录等。这些操作都是通过HDFS...
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
08-14
NULL 博文链接：https://bnmnba.iteye.com/blog/2322332
hadoop格式化HDFS出现错误解决办法
09-30
主要介绍了hadoop格式化HDFS出现错误解决办法的相关资料,hadoop格式化HDFS报错java.net.UnknownHostException，这里提供解决办法，需要的朋友可以参考下
java.net.UnknownHostException
Jackie Huang
04-27 418
ps: 如果有任何问题可以评论留言，我看到后会及时解答，评论或关注，您的鼓励是我分享的最大动力 转载请注明出处： https://blog.csdn.net/qq_40938301/article/details/89340731 问题： eclispe-hadoop-plugin做hadoop开发时遇到异常Exception java.lang.IllegalArgumentException:...
运行zookeeper时Exception in thread “main“ java.net.UnknownHostException: 不知道这样的主机。 (hadoop01)
m0_64198832的博客
10-26 2345
运行zookeeper时Exception in thread "main" java.net.UnknownHostException: 不知道这样的主机。 (hadoop01)
SpringBoot读取静态文件出现“java.net.UnknownHostException: ”
atgeretg的博客
10-13 2505
如果你也是用这个种方法去映射静态文件，那么，你可以继续往下看了。 @Override public void addResourceHandlers(ResourceHandlerRegistry registry) { logger.debug("addResourceLocations file path = {}",uploadBasePath); ...
格式化hdfs时java_格式化HDFS时出现UnknownHostException
weixin_36239866的博客
02-27 147
12/08/27 22:17:15 WARN net.DNS: Unable to determine address of the host-falling back to “localhost” addressjava.net.UnknownHostException: CentOSHost: CentOSHostat java.net.InetAddress.getLocalHost(Ine...
问题处理Shutting down NameNode at java.net.UnknownHostException: node1: node1: Name or service not known
BigCabbageFy的博客
04-05 4388
刚配置hadoop2.2，格式化namenode时候报的这个错。 原因是hadoop在格式化HDFS的时候，通过hostname命令获取到的主机名在/etc/hosts文件中进行映射的时候，没有找到，也就是名字不一样。 这里需要修改一下用户的主机名。 查看自己用户的主机名：hostname 查看/etc/hosts内容：cat /etc/hosts 发现自己的hosts中并没有nod...
[hadoop] hdfs 格式化错误 java.net.UnknownHostException
a84480766的博客
05-07 586
执行 hdfs namenode -format 抛出错误 主机名称异常，查看主机信息 原来 通过 bogon 无法找到主机 ，在host 中也没有对应的映射信息 修改后即可 再次执行 hdfs namenode -format 正常启动。 参考： 深入理解Linux修改hostname 转载于:https://www.cnblogs.c...
UnknownHostException
01-30 9982
UnknownHostException 1、查看Centos版本号，不同版本修改的方式可能不一样　　cat /etc/issue 查看版本 2、通过hostname命令查看当前主机名　　hostname 3、编辑network文件修改hostname行（重启生效） 　　vim /etc/sysconfig/network 4、设置当前的ho...
java开发hadoop报错误 java.net.UnknownHostException
m0_67394006的博客
04-19 3931
windows下开发的java程序报错 java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop01 查看linux配置都正确，然后发现windows下C:WindowsSystem32driversetchosts文件没有配置映射 添加映射 192.168.37.150 hadoop01 即 linux的IP地址 linux的主机名称 然后就解决啦！ ...
解决 HDFS 开发 java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop000
weixin_30247781的博客
07-21 1383
出现这种问题多半是windows找不到linux主机所以在 这个路径下的hosts加上linux ip地址,主机名就可以了 转载于:https://www.cnblogs.com/chenligeng/p/9347149.html
WARN fs.FileSystem: Failed to initialize fileystem hdfs://master:9000: java.lang.IllegalArgumentException: java.net.UnknownHostException: master -mkdir: java.net.UnknownHostException: master Usage: hadoop fs [generic options]
07-12
您遇到了一个Hadoop文件系统初始化失败的错误。这个错误通常是由于Hadoop无法解析主机名导致的。在您的情况下，它无法解析主机名"master"。为了解决这个问题，您可以尝试以下几个步骤： 1. 检查您的主机名配置：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值