java访问HDFS笔记

  之前在服务器中利用docker实现完全分布式的部署。对hadoop中hdfs有个初步认识,接下来开始学习如何利用JavaAPI访问,实现读写等简单操作。之前是利用hadoop自带的shell命令对文件进行读写。
  由于是本地练习,这次采用的是伪分布的部署,在部署完成后遇到1个问题,在namenode格式化的时候输出信息中 host = localhost,如下图
在这里插入图片描述
  格式化是没任何问题的,使用shelll命令对文件进行操作也没任何问题。当上传完文件后,打开web页面看到下图,Block Pool ID中间的ip是127.0.0.1,图片是后面截的,当时情况就是红字所示。
在这里插入图片描述
  接下来我在另一台局域网电脑windows操作系统下,准备写java访问,从namenode能够拿到文件的名字和各种信息。都没问题的,但是!!! 在使用文件读取的时候,按照流程应该是从datanode读取数据,确出现了错误,错误内容大概就是读取不到blob信息之类,但是datanode节点是正常的,最后定位在格式化namenode这个Host上,我这台windows电脑访问host出现了错误。
 &#8195解决的步骤试这样的:

  • 在linux上先查看自己的hostname
  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值