拷贝本地文件至HDFS异常：No FileSystem for scheme: file

最新推荐文章于 2024-07-01 15:05:34 发布
最新推荐文章于 2024-07-01 15:05:34 发布
阅读量905 收藏
点赞数
分类专栏： HDFS 文章标签： hdfs scheme exception
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gmijie/article/details/53149361
版权
在尝试从本地复制文件到HDFS时遇到异常：'No FileSystem for scheme: file'。异常发生在'FileSystem.getFileSystemClass()'方法中。解决这个问题的方法是在pom文件中添加相关依赖。
摘要由CSDN通过智能技术生成

具体异常信息：
=======copy file=======
Exception in thread “main” java.io.IOException: No FileSystem for scheme: file
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651)
at org.apache.hadoop.fs.FileSystem.access 200(FileSystem.

最低0.47元/天 解锁文章
gmijie
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入理解HDFS：Hadoop分布式文件系统
02-24
在现代的企业环境中，单机容量往往无法存储大量数据，...另外如果要对NFS中的文件中进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是不可见的。某种程度上，NFS不是一种典型的分布式系统，虽然
利用JAVA代码将本地文件传入HDFS中
06-28
标题 "利用JAVA代码将本地文件传入HDFS中" 涉及到的是在Java编程环境中，使用Hadoop Distributed File System (HDFS) API来上传本地文件系统的文件到HDFS的过程。HDFS是Hadoop的核心组件之一，它提供了一个分布式、...
java.io.IOException: No FileSystem for scheme: hdfs
weixin_33800593的博客
11-21 245
在这篇文章中，介绍了如何将Maven依赖的包一起打包进jar包。使用maven-assembly打成jar后，将这个jar提供给其他工程引用的时候，报出如下错误： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN...
eclipse中java.io.IOException: No FileSystem for scheme: hdfs的解决
最新发布
winter2041的博客
07-01 291
因为这个core-default.xml在eclipse中通过jar包库调用时，调用的不是这里的这个，而是hadoop-common-x.jar里的core-default.xml。这个core-default.xml在hadoop-2.7.1\share\doc\hadoop\hadoop-project-dist\hadoop-common里。如果还会报错的话，检查一下Hadoop-hdfs-x.jar在不在，不在的话把它加入依赖。那么问题来了，为什么我加了这段语句还是没有用呢？
No FileSystem for scheme: hdfs,No FileSystem for scheme: file
修鹏的专栏
06-18 6860
原文：http://blog.newitfarmer.com/tags/hadoop
hdfs-mount:将HDFS挂载为本地Linux文件系统的工具
03-11
允许将远程HDFS挂载为本地Linux文件系统，并允许任意应用程序/ Shell脚本以有效且安全的方式将HDFS作为普通文件和目录进行访问。 功能（计划中） 高性能 使用协议缓冲区直接为FUSE和HDFS连接Linux内核（不需要Java...
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
08-14
NULL 博文链接：https://bnmnba.iteye.com/blog/2322332
3 分布式文件系统：3-HDFS JAVA接口03FileSystem目录.pptx
09-15
java
No FileSystem for scheme: hdfs
weixin_45131680的博客
09-01 1330
从代码中可以看出最终需要调用getFileSystemClass(String scheme, Configuration conf)方法，在此方法中需要读取core-default.xml文件中定义的“fs.” + scheme + “.impl”（在本例中应读取fs.hdfs.impl）的配置信息，但此配置信息在默认的配置文件中没有配置（hadoop-common-x.jar中的core-default.xml文件中）.
Hadoop2.2异常No FileSystem for scheme: hdfs
三劫散仙
06-25 209
[color=green][size=large]把eclipse中的hadoop项目，换了一个工作空间，再次启动任务时，发现报如下异常：[/size][/color] [code="java"]java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFi...
No FileSystem for scheme: hdfs问题
weixin_30340745的博客
01-14 282
通过FileSystem.get(conf)初始化的时候，要通过静态加载来实现，其加载类的方法代码如下： private static FileSystem createFileSystem(URI uri, Configuration conf ) throws IOException { Class<?> clazz = conf.getC...
maven打包后 No FileSystem for scheme: hdfs
icefoxhz的博客
09-21 225
我的环境是hadoop2.7 添加2个配置： conf.set(“fs.file.impl”, “org.apache.hadoop.file.DistributedFileSystem”); conf.set(“fs.hdfs.impl”, “org.apache.hadoop.hdfs.DistributedFileSystem”); 这2个配置一定都要加，少1个有时可以，有时候又不行~ 很坑~ ...
java.io.ioexception: no filesystem for scheme: hdfs
03-16
这个错误提示是因为在Java程序中使用了Hadoop分布式文件系统（HDFS），但是没有正确配置Hadoop环境或者没有正确引入相关的Hadoop依赖包。需要检查程序中是否正确配置了Hadoop环境变量和classpath，并且是否引入了hadoop-core.jar等相关的依赖包。如果还是无法解决问题，可以尝试重新安装Hadoop并重新配置环境变量和classpath。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值