hadoop异常： Wrong FS: hdfs://192.168.1.xx:9000/output, expected: file:///

最新推荐文章于 2024-07-11 15:01:05 发布
最新推荐文章于 2024-07-11 15:01:05 发布
阅读量5.7k 收藏
点赞数
分类专栏： 大数据&云计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangjia55/article/details/53202790
版权
在本地运行Hadoop Map/Reduce程序时，遇到'Wrong FS'错误，通常涉及hdfs文件操作。该错误在分布式集群上不出现，但在本机伪分布式环境下发生。解决方法包括：1) 通过Path获取FileSystem；2) 将hdfs-site.xml和core-site.xml复制到项目目录下。
摘要由CSDN通过智能技术生成
问题描述：
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码：
1  Path clear_path  =
最低0.47元/天 解锁文章
Jacob-wj
关注
专栏目录
hadoop学习笔记（四）Wrong FS报错
ptrdu的专栏
05-04 1418
Wrong FS  expected: file:/// 问题  对于一个简单的hadoop api调用问题，经常出现以下报错： Configuration conf = new  Configuration（）； FileSystem fs = FileSystem.get(conf); fs.copyFromLocalFile(new Path(“/home/ptrdu/inp
[初学hadoop]错误信息：hdfs://192.168.0.16:9000/report.bak, expected: file:///
menghuannvxia的专栏
03-24 2841
在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path);   通过试验发现，在分布式ha
报错Failed with exception java.io.IOException:java.io.IOException: Not a file: hdfs://master:9000
最新发布
a_black03的博客
07-11 280
【代码】报错Failed with exception java.io.IOException:java.io.IOException: Not a file: hdfs://master:9000。
Wrong FS: hdfs://localhost:9000/input, expected: file:///
scalad
10-28 5366
使用java对hadoop操作的时候出现错误Wrong FS: hdfs://localhost:9000/input, expected: file:///，错误信息如下 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j
hadoop dfs 保错.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:///
whb3299065的博客
10-04 3198
Java调用hadoop时出现报错：java.lang.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:/// 错误分析： hdfs是一种uri路径，hadoop并不认识hdfs：这种格式，后面提示：file:/// 这是一种本地文件系统，由此可见这里要求我们传入一个本地文件系统。
java.lang.IllegalArgumentException: Wrong FS: hdfs://, expected: file:
zhunode的探索
04-10 1006
参考：https://stackoverflow.com/questions/32078441/wrong-fs-expected-file-when-trying-to-read-file-from-hdfs-in-java 解决办法：修改自己的访问文件方式，参照下文的方式进行修改。 原文如下： Try this: Configuration configuration = new ...
Wrong FS: hdfs://192.168.121.131:9000/data, expected: file:///
06-12
您提供的路径"hdfs://192.168.121.131:9000/data"是Hadoop分布式文件系统中的一个路径，但是您的程序期望的是"file:///"本地文件系统的路径。 您需要检查您的程序中使用的路径，确保它与您想要使用的文件系统兼容。...
Hadoop 问题java.lang.IllegalArgumentException Wrong FS: hdfs://192.168
rosboy的专栏
12-04 9204
在看hadoop in action 的时候，关于hdfs的操作地方，抄写代码PutMerge到eclipse上，出现了错误 Wrong FS: hdfs://192.168.96.131:9000/user/hadoop, expected: file:/ 然后，上网查找了一下这个错误，说是将core-site.xml 和hdfs-site.xml拷贝到项目里去就可以，原因是访问远程的H
hdfs://192.168.10.111:9000/user/test, expected: file:///
09-08
根据提供的引用内容，hdfs://192.168.10.111:9000/user/test的预期路径应该是file:///。这个路径的预期格式是file:///[本地文件系统路径]，表示文件存储在本地文件系统中。在Hadoop中，HDFS路径使用hdfs://[HDFS地址...
Wrong FS: hdfs expected: file:
曾经是个DBA
07-10 1040
场景：错误java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:/// 异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///   在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示
hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
小倔驴
07-22 2158
FileSystem fs = FileSystem.get(conf); in=fs.open(newPath("hdfs://192.168.130.54:19000/user/hmail/output/part-00000")); 抛出异常：Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: h
Spark: Wrong FS: hdfs://localhost:9000/user/... expected: file:///
很吵请安静
03-17 2130
在CommonUtils 里面写个对于HDFS路径操作的方法，在保存文件前查看文件是否存在，如果存在则先删除。删除的函数如下所示 def pathDelete(path:String, sc: SparkContext): Unit ={ val fs = FileSystem.get(sc.hadoopConfiguration) if (fs.exists(new Path...
Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///
ZH519080的博客
08-08 1097
今天搭建了一个hadoop2.0(yarn集群平台)，首先在上面测试了一个FileSystem实例程序，代码如下： import java.io.IOException; import java.net.URISyntaxException; import org.apache.commons.compress.utils.IOUtils; import org.apache.hadoop.c
hadoop报错Wrong FS: hdfs:/, expected: file:///
yangbosos的博客
04-04 4901
在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///...
Hadoop(1)：权限问题以及Wrong FS错误
Make My First Step
02-23 7506
记录一些问题。首先是权限的问题。在Eclipse下开发时候会遇到Permission Denied的状况。该权限即可(貌似不太安全，我看到有人是修改的配置文件，等我和大牛们讨论了再说) 1、权限的改法，以我的为例 ./hadoop fs -chmod -R 777 ~/hadoop/hadoop 2、关于使用java api上传文件。 在定义一个FileSystem变量的时候伪分
Wrong FS: hdfs://node2:8020/wc/output2, expected: file:///
yj2434的博客
08-06 295
程序在执行的过程，conf未识别出ＨＤＦＳ文件系统。 有2种修改办法： 1.ore-site.xml文件拷入src或resource中添加如下内容： fs.defaultFS hdfs://node2:9000 2.直接在代码中添加如下值 conf.set(“fs.defaultFS”, “hdfs://node2:9000”); ...
异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///
pgwcumt的专栏
02-25 2767
  在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///dfs_operator.txt"); FSDataOutputStre...
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
09-02 277
  我遇到这个问题的原因是配置和环境变量错误： 正确的配置如下： hbase-env.sh： export JAVA_HOME=/usr/local/app/jdk1.8.0_91/ export HADOOP_HOME=/usr/local/app/cdh5.8.0/hadoop-2.6.4 上面这个是解决方法。 注意，必须写到脚本里，写到profile里无效。   注意进...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值