org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory xxxx already exists解决方法

最新推荐文章于 2023-08-07 17:31:22 发布
最新推荐文章于 2023-08-07 17:31:22 发布
阅读量7.6k 收藏
点赞数 10
分类专栏： Bug解决 文章标签： bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44318830/article/details/103021722
版权

        最近开始学习mapreduce。小菌在第一次写mapreduce的时候就遇到了一个新手经常遇到的坑,具体的bug见下图

在这里插入图片描述
        上面的那些是日志信息,在最后一行Output directory xxxx already exists 已经告诉我们,该程序的输出目录已经存在!所有我们只需要换个输出目录的位置即可!

在这里插入图片描述

        把路径换一个实际不存在的路径后,重新运行程序!发现运行成功!
在这里插入图片描述

大数据梦想家
关注
专栏目录
Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se
mtj66的博客，交流WX:SpringBreeze1104
06-04 5212
Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se当从SparkSql得到的dataFrame，映射成RDD之后向hbase中直接保存数据的时候报错：Exception in thread "main" org.a...
org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.UnsupportedClassVersionError: Qu
杨鑫newlife的专栏
05-24 2111
既起到了一批新机器，安装了不少服务后，运行Sqoop，发现报错。 2019-05-24 10:46:40,798 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.UnsupportedClassVersionError: QueryResult : Unsupported major...
解决output directory already exists
weixin_45019417的博客
06-30 3464
解决output directory already exists的问题 在eclipse里面运行Hadoop，报错文件已经存在 package myMapReduce; import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.HashMap;
MapReduce运行异常-- org.apache.hadoop.mapred.FileAlreadyExistsException
架构师思考实践
03-26 1万+
描述： 输出文件已经存在 异常： 14/03/26 23:00:52 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String). 14/03/26 23:00:52 INFO mapred.JobClien
org.apache.hadoop.mapred.FileAlreadyExistsException
管子（zero）的杂乱空间
12-25 483
cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:54310/。。。。。 12/05/28 09:33:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. A...
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/home/node/output already
qq_53810226的博客
10-06 466
关于这个问题我觉得就是没注意到 org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/home/node/output already exists 说白了就是 hadoop的输出目录文件夹他要自己创建，我们不能手动的给他创建 解决的办法 第一就是你直接给他删除了 第二就是在输出那边定义一个完全就是不存在的目录即可 ...
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://mycluster/output alread
qq_25401523的博客
04-30 3411
[hadoop@djtNode1 bin]$ ./hadoop jar ~/app/test/analysis-1.0-SNAPSHOT.jar pv /input/test.txt /output 16/04/30 16:25:09 WARN security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIM
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation
SnowXu01的博客
09-08 3000
（1）报错截图 （2）报错信息内容 SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sb
关于unbuntu启动hadoop时报错org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block的解决方案
weixin_53019598的博客
03-08 1985
仅记录，新手有误轻喷。
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/had
乾坤未定，你我皆是黑马
10-17 5967
Hadoop 运行程序时，输出目录不能存在 ./bin/hdfs dfs -rm -r output 以上命令 删除 output 文件夹
ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output d
最新发布
白元霞的博客
08-07 577
同步到Hadoop时报错 ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://nameservice1/user/hive/warehouse/wxwy.db/manyidu_month_tmp already exists。原因：因之前已经存在数据文件，所以这个目录存在。解决办法：删除此目录即可。删除之后再同步即可成功。
org.apache.hadoop.mapred.FileAlreadyExistsException 解决方案
hxh的博客
10-08 5319
Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory temp/preparePreferenceMatrix/itemIDIndex already exists 然而这个目录通过Hadoop的web界面并查询不到！！ 解决方法：（直接remove掉在...
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException:
qq_30657195的博客
03-07 1万+
异常： Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop102:9000/user/dengdan/output/output.txt already exists at org.apache.hadoop.mapreduce...
【MapReduce】jar包集群运行:FileAlreadyExistsException: Output directory ..... already exists
懂得一千零一种,赋予你失败的方法！
03-18 501
报错：FileAlreadyExistsException: Output directory FileAlreadyExistsException: Output directory file:/home/data/mapReduce/data already exists 如上图所示，jar包运行时传参形式报错，说输出路径已经存在！？但是仔细观察会发现，系统所说的已存在路径实际是资源文件的输入路径，也就是说在获取参数的时候错位了，疑似左移了一个参数。 于是对其程序进行了修改，将参数数组元素右移一个，
【Mapreduce】从代码上解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹
热门推荐
编程记录，亲测有效
01-28 3万+
Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误： Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output director
【Mapreduce】从代码上解决Output directory already exists错误
我壮着胆子再问一遍冬雪枫花
03-10 3759
Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误： [plain] view plain copy print?Exception in thread “main” org.apache.hado...
MaReduce阶段如何解决Output directory already exists错误
qq_45683188的博客
09-03 1000
在MapReduce的程序中，如果我们要是想要在本地运行。我们是要设置输出和输入路径的，对于输出路径而言，这个是相对于输入路径而言还是比较讲究的，首先这个路径得是个文件夹，而且这个文件夹里面是不能有任何东西的 ，只要是存在一个东西都会直接报错 import java.io.IOException; public class Driver { public static void main(String[] args) { //设置输入和输出的路径 args=new Str
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory
05-19
这个错误通常是因为你的输出目录已经存在，而 Hadoop 不能覆盖它，因为这会导致数据丢失。你需要删除旧的输出目录或更改输出目录的名称。你可以执行以下命令来删除旧的输出目录： ``` hadoop fs -rm -r <output_directory> ``` 你需要将 `<output_directory>` 替换为你的实际输出目录。如果你不确定输出目录的位置，请查看你的 MapReduce 作业的配置。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据梦想家

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值