java访问hdfs文件时碰到的一些问题

1.java.io.IOException:No FileSystem for scheme:hdfs
解决:在pom.xml中漏添加了依赖 。下面3个依赖必不可少
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.7.1</version>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.7.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
</dependency>


2.Checksum error: file:/F:/test.txt at 0 exp: 1871533573 got: 2052517348
解决:通过java程序将文件上传到hdfs上时,hadoop的api会通过fs.FSInputChecker判断需要上传的文件是否存在.crc校验文件。
如果存在.crc校验文件,则会进行校验。如果校验失败,则不会上传该文件。.crc校验文件和需要上传的文件在同一目录下。
解决办法为删除该.crc文件即可。

3.Call From kingdee-PC/192.168.56.1 to 172.20.176.134:8020 failed on connection exception: java.net
.ConnectException: Connection refused: no further information; For more details see:
http://wiki.apache.org/hadoop/ConnectionRefused
解决:打开hadoop的安装目录hadoop-2.7.3/etc/hadoop下的文件core-site.xml,看到如下内容:
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
因此需要在代码中hdfs的uri中添加对应的端口号9000.

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值