在获取 Hadoop 文件系统对象时,如下所示
FileSystem fs = FileSystem.get(hdfsUrl,configuration);
错误一
如果收到以下错误:
"No FileSystem for scheme:hdfs"
可以通过在配置中设置以下 2 个属性来解决它
configuration.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
configuration.set("fs.file.impl", "org.apache.hadoop.fs.LocalFileSystem");
错误二
现在,您可能会收到如下新错误:
java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributedFileSystem not found
解决方案一
Hadoop-common.jar 使用 Thread.currentThread.getContextClassLoader() 和 configuration.getClassLoader 来加载类。因此,如果您使用
Thread.currentThread.setContextClassLoader(yourClassLoader);
configuration.setClassLoader(yourClassLoader);
就能够从其他 hadoop jar 加载所需的类(例如 hadoop-hdfs)
解决方案二
校验下,是否是jar包的问题:
双击 shift,输入 DistributedFileSystem。如下图,则说明包没问题
如果下拉框中是 空白
说明需要加对应的jar包了:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0</version>
</dependency>
如果还报错,说明 集群使用的默认库里的相关的依赖包 与 hadoop-hdfs中依赖的包 存在有冲突!需要把包的版本保持一致(确保远程不会有maven依赖的conflicts)。注意这个坑!
比如我司默认的是 2.6.0-cdhmdzz5.12.1版本
如果您需要更多帮助,请告诉我。如果你觉得这有点用,别忘了点赞。