工作过程中遇到了这个问题,调用org.apache.hadoop.fs.FileSystem这一套API来对hdfs上面的文件进行操作,但是本地运行正常的代码打包上传到服务器上发现运行会报错Exception in thread “main” java.io.IOException: No FileSystem for scheme: hdfs
经过查阅资料,加上自己排查,发现问题是这样的:
- 和hadoop filesystem相关的包有以下两个:hadoop-hdfs-xxx.jar和hadoop-common-xxx.jar(xxx是版本),而他们当中都有org.apache.hadoop.fs.FileSystem这个文件。
- 我们调用的接口是hadoop-hdfs-xxx.jar中的,所以很明显No FileSystem for scheme: hdfs这个问题是因为,相同文件被覆盖了。将hadoop-common-xxx.jar中的services内容打进了最终的jar包中,而hadoop-hdfs-xxx.jar包中,services的内容被覆盖了。
解决办法
- 解决办法很简单:在设置hadoop的配置的时候,显示设置这个类:"org.apache.hadoop.hdfs.DistributedFileSystem
like this:
var conf: Configuration = new Configuration()
var fs: FileSystem = null
conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem")
fs = FileSystem.get( new URI("hdfs://ip:port"), conf )
重新打包测试,莫得问题了