目录
一、目的
使用 java -classpath com.kangna.hdfs.HDFSFileDelSkipTrash HDFSFileDelSkipTrash.jar 起动一个客户端的程序,删除HDFS 垃圾文件
二、报错如下
Exception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:3281)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:3301)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:124)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:3352)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:3320)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:479)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:227)
at com.kangna.hdfs.SparkReadJson$.main(SparkReadJson.scala:30)
at com.kangna.hdfs.SparkReadJson.main(SparkReadJson.scala)
三、解决
使用的HDP 集群,然后在 core-site.xml 文件中添加了如下的配置问题解决
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>