Eclipse运行Spark程序报错No FileSystem for scheme: hdfs

最新推荐文章于 2024-07-01 15:05:34 发布

_荣耀之路_

最新推荐文章于 2024-07-01 15:05:34 发布

阅读量2.1k

点赞数

分类专栏：其他文章标签： FileSystem

本文链接：https://blog.csdn.net/asty9000/article/details/85061868

版权

其他同时被 3 个专栏收录

62 篇文章 3 订阅

订阅专栏

Hadoop

6 篇文章 0 订阅

订阅专栏

Spark

3 篇文章 0 订阅

订阅专栏

场景：通过spark程序读取hdfs文件。

错误：

Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs
	at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2385)
	at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2392)
	at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
	at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)
	at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2413)
	at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
	at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
	at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:372)
	at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:370)
	at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
	at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
	at scala.collection.immutable.List.foreach(List.scala:381)
	at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
	at scala.collection.immutable.List.flatMap(List.scala:344)
	at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:370)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:152)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:135)
	at ......main(Example.java:25)

原因：缺少hadoop-hdfs包，在hadoop-common和hadoop-hdfs包的META-INF\services下均有一个org.apache.hadoop.fs.FileSystem文件，但文件内容是不同的。

解决办法：引入hadoop-hdfs包。