java.io.IOException: No FileSystem for scheme: hdfs

今天连接java时出现了这个
场景
在没有打成jar包，直接在idea工程中，是可以正常运行的，打成jar包后调用jar包报错

java.io.IOException: No FileSystem for scheme: hdfs
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2658)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2665)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:369)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:171)
        at com.hht.demo.util.HdfsUtil.test(HdfsUtil.java:80)
Traceback (most recent call last):

解决方案
在Configuration里添加一行代码重新打包即可，如下

hadoopConf = new Configuration();
hadoopConf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
.......

原因：
hadoop filesystem相关的包有两个，分别是：hadoop-hdfs-2.7.1.jar和hadoop-common-2.7.1.jar，这两个包的META-INF中的services目录下，都有如下的内容：


可以看到，这两个包的services目录下都有,org.apache.hadoop.fs.FileSystem这个文件。使用Maven-assembly-plugin的时候，会将所有依赖的包unpack，然后在pack，这样就会出现，同样的文件被覆盖的情况，，将hadoop-common.jar中的services内容打进了最终的jar包中，而hadoop-hdfs.jar包中，services的内容被覆盖了。