遇到 Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs解决办法

工作过程中遇到了这个问题，调用org.apache.hadoop.fs.FileSystem这一套API来对hdfs上面的文件进行操作，但是本地运行正常的代码打包上传到服务器上发现运行会报错Exception in thread “main” java.io.IOException: No FileSystem for scheme: hdfs

经过查阅资料，加上自己排查，发现问题是这样的：

• 和hadoop filesystem相关的包有以下两个:hadoop-hdfs-xxx.jar和hadoop-common-xxx.jar(xxx是版本)，而他们当中都有org.apache.hadoop.fs.FileSystem这个文件。
• 我们调用的接口是hadoop-hdfs-xxx.jar中的，所以很明显No FileSystem for scheme: hdfs这个问题是因为，相同文件被覆盖了。将hadoop-common-xxx.jar中的services内容打进了最终的jar包中，而hadoop-hdfs-xxx.jar包中，services的内容被覆盖了。

解决办法

---

• 解决办法很简单：在设置hadoop的配置的时候，显示设置这个类："org.apache.hadoop.hdfs.DistributedFileSystem

like this:

var conf: Configuration = new Configuration()
var fs: FileSystem = null

conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem")
fs = FileSystem.get( new URI("hdfs://ip:port"), conf )

重新打包测试，莫得问题了