用eclipse进行MapReduce编程出现java.io.IOException: No FileSystem for scheme: hdfs解决方法

最新推荐文章于 2024-06-07 12:43:01 发布
最新推荐文章于 2024-06-07 12:43:01 发布
阅读量1.1k 收藏 2
点赞数
文章标签： hdfs mapreduce eclipse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58945994/article/details/121903329
版权

我在用eclipse进行MapReduce编程的的时候，一直出现java.io.IOException: No FileSystem for scheme: hdfs。

 

找了很多答案也没有一个能解决我的问题，后来我发现了问题所在，其实就是很简单的问题导致的

下面我说一下这个困扰我很长时间的问题的解决方法：

其实这是eclipse访问不到hdfs文件系统，我先把编写的程序打成JAR包，在Linux下运行，发现可以运行，那么在编程阶段是没有错误的，那就是在Windows下运行不了，我查看了一下Linux下的jdk版本和hadoop的版本，都是可以查得到的。

 我在Windows下查看的时候发现：

jdk版本可以查看，但是hadoop的环境变量出了问题，于是我发现存放hadoop的路径中不能有空格

我把路径改了一下只存放在D盘下面&#

最低0.47元/天 解锁文章
Data engineering Bo
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【hadoop】java.io.IOException: No FileSystem for scheme: hdfs
九师兄
10-22 2815
异常 java.io.IOException: No FileSystem for scheme: hdfs 我是想用hive的sql解析方法解析sql，测试类是可以运行的，但是使用java -cp jar包运行就报这个错。 hadoop解决： conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem") ...
Hadoop _ org.apache.hadoop.fs.UnSupportFileSystemException: No FileSystem for scheme: hdfs 问题解决
weixin_44415250的博客
03-11 3557
今天用Ubuntu里的eclipse写代码时，碰到了这个错误，其实是少了jar包 所以你直接新建一个library：选中工程->右键->buildPath->Configure Build Path->library->Add library->User library 如果之前没有建过library可以看到有一个新建，将hadoop中的jar包加进来，就OK...
java.io.IOException: No FileSystem for scheme: HDFS Hadoop File System abstraction does not support
JavaBigData的博客
07-26 1161
hdfs要小写 hadoop102是集群namenode的节点ip al backend: StateBackend = new RocksDBStateBackend(“hdfs://hadoop102:9000/kylin”,true) env.setStateBackend(backend) C:\Java\jdk1.8.0_45\bin\java.exe “-javaagent:G:\soft\IntelliJ IDEA 2019.3.1\lib\idea_rt.jar=61507:G:\sof
java.io.IOException: No FileSystem for scheme: hdfs
junehappylove（王俊伟）的专栏
12-26 1万+
最近在做一个大数据项目，用到hadoop（2.7.4）、spark（2.11），在做一个数据分片的时候，单独将程序打包提交任务到spark上执行没有任何问题，但是集成到web项目中后，就来问题了Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs这个问题有两种解决方法，第一种就是修改集群配置文件c
java.io.IOException: No FileSystem for scheme: hdfs错误解决
qq_25011427的博客
12-07 2510
在一次用maven-assembly打包HDFS项目成jar后运行出现了以下错误(maven-assembly可以将Maven依赖的Jar都一起打包进来) log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Ple...
【SpringBoot 远程提交MapReduce】 Error: java.lang.ClassNotFoundException: xxxxx包.xxxxx类
01-20
【SpringBoot】Error: java.lang.ClassNotFoundException: org.wltea.analyzer.core.IKSegmenter报错明细问题分析后记 报错明细 IDEA SpringBoot集成hadoop运行环境，本地启动项目，GET请求接口触发远程提交...
java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
01-09
我在进行MapReduce本地测试的时候，遇见下面的报错： Exception in thread “main” java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava...
大数据技术基础实验报告-MapReduce编程.doc
08-21
在这个实验报告中，我们将探讨如何在Eclipse环境中设置和使用MapReduce编程。 首先，为了在Eclipse上编写和运行MapReduce程序，我们需要安装`hadoop-eclipse-plugin`。这个插件允许开发者直接在IDE中开发、调试和...
jahoo.github.io：计算机基础，Java，大数据开发
02-22
在“jahoo.github.io”这个项目中，我们可以发现它涵盖了计算机基础、Java编程以及大数据开发这三个关键领域的知识。下面将分别对这些主题进行详细的探讨。 首先，计算机基础是所有IT学习者的基石。它包括计算机...
大数据平台构建：MapReduce的重要概念.pptx
06-21
Doug Cutting随后基于此论文用Java实现了开源版本，即Hadoop中的MapReduce，成为其核心组件。HDFS（Hadoop Distributed File System）是Hadoop的另一个关键组成部分，而YARN（Yet Another Resource Negotiator）则是...
java.io.IOException: No FileSystem for scheme: hdfs异常解决
热门推荐
linux_ja的专栏
12-15 1万+
Configuration conf = new Configuration(); conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); fs = FileSystem.get(new URI(HDFS_PATH), conf); 若出现java.io.IOExc
在eclipse运行MapReduce(Hadoop)程序的常见问题
Dandelion的博客
04-28 2360
主机名和端口在 hadoop/etc/hadoop/core-site.xml 可以看到 fs.defaultFS 的值为 hdfs://主机名:端口号。一般是在hdfs上的/user/root目录创建input文件夹，并把需要统计的文件放里面，而且如果存在output文件夹的话要先删掉该文件夹。2、M/R的端口号不要改它，依旧是50020，DFS的端口号就是在 core-site.xml 查到的端口号。只要是在代码import处出现报错的，都要导入相应的jar包。还要hdfs和yarn的jar包。
Eclipse maven hadoop -- java.io.IOException: No FileSystem for scheme: hdfs
anxian8397的博客
01-10 556
2019-01-10 概述 　　今天在Windows系统下新安装了Eclipse和maven的环境，想利用Maven构建一个Hadoop程序的，结果却发现程序运行时一直报“No FileSystem for scheme: hdfs”的异常。网友贴出的解决方案在我这都不适用。经过数小时痛苦的折磨以后才终于找到我这种情况的原因：Maven自动下载的hadoop-hdfs-2...
解决：java.io.IOException: No FileSystem for scheme: hdfs
Awnger的博客
09-12 1628
解决：java.io.IOException: No FileSystem for scheme: hdfs 开发项目初期，写完代码开始放到服务器上开始测试的时候，报出这样的一个错，不知道怎么处理了，尝试了重新配置HDFS的Configuration，也不行，无奈之下，只好查看源代码，分析错误是从哪里里报出来的。 技术分享图片 首先把hadoop-common-2.6.0-cdh5.7.0这个ja...
C# WPF入门学习主线篇（七）—— Label常见属性和事件
最新发布
weixin_56595425的博客
06-07 1821
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
MapReduce 踩坑 - hadoop No FileSystem for scheme: file/hdfs
08-10
你好！对于你遇到的问题，可能是由于缺少相应的文件系统配置导致的。这个错误常见于使用Hadoop的MapReduce框架时，文件系统方案（scheme）未正确配置。 要解决这个问题，可以尝试以下几个步骤： 1. 确保你的Hadoop配置文件中正确设置了文件系统方案。在`core-site.xml`中，检查`fs.defaultFS`属性的值是否正确配置为你要使用的文件系统（如`hdfs://localhost:9000`）。如果你要使用本地文件系统，可以设置为`file:///`。 2. 检查Hadoop的类路径是否正确设置。在`hadoop-env.sh`或`hadoop-env.cmd`中，确保`HADOOP_CLASSPATH`包含了必要的jar包路径。 3. 检查你的代码中是否使用了正确的文件系统方案。在你的MapReduce代码中，确保使用了正确的文件系统方案，如`FileInputFormat.setInputPaths(job, new Path("hdfs://localhost:9000/input"));` 或 `FileInputFormat.setInputPaths(job, new Path("file:///home/input"));`。 4. 检查你的Hadoop集群是否正常运行。确保Hadoop集群已经正确启动，并且文件系统可访问。 如果以上步骤都没有解决问题，你可以尝试重新配置和启动Hadoop集群，或者查看Hadoop的日志来获取更详细的错误信息。希望这些信息能帮到你！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值