Hadoop本地操作HDFS不能上传文件问题

本地操作HDFS不能上传文件问题

  • 问题描述

在本地使用JavaAPI客户端进行Hadoop集群HDFS操作时,只能够新建文件目录、删除目录、新建文件等操作,当上传文件时出错,上传文件内容为空;在shell终端中能够正常的进行文件上传等操作。

  • 问题原因

1.NameNode节点存放的是文件目录,也就是文件夹、文件名称,本地可以通过公网访问 NameNode,所以可以进行文件夹的创建,当上传文件需要写入数据到DataNode时,NameNode 和DataNode 是通过局域网进行通信,NameNode返回地址为 DataNode 的私有 IP,本地无法访问。

2.防火墙未关闭

三、解决方案

    返回的IP地址无法返回公网IP,只能放回主机名,通过主机名与公网地址的映射便可以访问到DataNode节点,问题将解决。

    由于代码的设置的优先级为最高,所以直接进行代码的设置。 

Configuration conf = new Configuration();
conf.set(
"dfs.client.use.datanode.hostname", "true");//添加此配置信息即可

FileSystem fs = FileSystem.get(new URI("hdfs://192.168.8.81:9000"), conf, "root");

如果文章对你有帮助,可以关注一下本人的公众号:修电脑的程序员,或者加私人微信:cpboy1125  方便沟通。

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值