Flink error:File or directory data/output already exists. Existing files and directories are not ...

最新推荐文章于 2023-02-06 16:10:40 发布
最新推荐文章于 2023-02-06 16:10:40 发布
阅读量2.1k 收藏
点赞数 1
分类专栏： Flink 文章标签： Flink  WriteMode scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010886217/article/details/103380660
版权

一、问题描述

flink在sink到本地目录的时候，报错：

09:12:19,166 INFO  org.apache.flink.runtime.executiongraph.ExecutionGraph        - Job DataSet Sink (5e5507e2029038a82605e0ffd0ff4a14) switched from state FAILING to FAILED.
java.io.IOException: File or directory data/output already exists. Existing files and directories are not overwritten in NO_OVERWRITE mode. Use OVERWRITE mode to overwrite existing files and directories.
    at org.apache.flink.core.fs.FileSystem.initOutPathLocalFS(FileSystem.java:773)
    at org.apache.flink.core.fs.SafetyNetWrapperFileSystem.initOutPathLocalFS(SafetyNetWrapperFileSystem.java:137)
    at org.apache.flink.api.common.io.FileOutputFormat.open(FileOutputFormat.java:227)
    at org.apache.flink.api.java.io.TextOutputFormat.open(TextOutputFormat.java:88)
    at org.apache.flink.runtime.operators.DataSinkTask.invoke(DataSinkTask.java:202)
    at org.apache.flink.runtime.taskmanager.Task.run(Task.java:704)
    at java.lang.Thread.run(Thread.java:745)

   
二、问题原因

代码中的目录已经存在，而写操作writeAsText默认不覆盖之前的文件或者文件夹，所以导致报错。

val filepath="data//output"
text.writeAsText(filepath)

三、解决办法

1.方法一：删除目录
2.方法二：添加覆盖的参数

val filepath="data//output"
text.writeAsText(filepath,FileSystem.WriteMode.OVERWRITE)

 

RayBreslin
关注
专栏目录
Flink系列：解决/bin/config.sh: line 32: syntax error near unexpected token
NIO4444
06-06 4939
问题 Flink启动运行start-cluster.sh报错： bin/config.sh: line 32: syntax error near unexpected token `<' bin/config.sh: line 32: ` done < <(find "$FLINK_LIB_DIR" ! -type d -name '*.jar' -print0 | sort -z)' 解决 不要使用sh start-cluster.sh运行，直接运行 sta...
Flink系列：解决java.lang.NoClassDefFoundError: org/apache/flink/client/program/ContextEnvironment
NIO4444
05-31 2777
目录 问题 解决 问题 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. Exception in thread "main" ja
anaconda安装时候报错：File or directory already exists
阅读修身
02-06 6866
比如你的文件目录是这样的：/home/LIST_2080Ti/njh/anaconda3。删掉你的目录里面的anaconda3文件夹，而在右面的地址设定时候保留即可。因为我想把anaconda3建在自己的文件夹之下。所以需要修改一下路径。/home/LIST_2080Ti/njh/anaconda3即可。其实你只要把你文件夹里的那个anaconda3文件夹删除就行了。而自己设定路径的时候，必须随便设置一个没有的文件夹才行。
Anaconda安装 directory xxx already exists
Avada_533的博客
03-11 1万+
安装anaconda 过程中，在选择安装位置时，一直报错 原因是： 直接通过browse选择要安装的位置 解决办法： 在输入框内直接输入文件要安装的位置， 比如 D:\new_file_name
JAVA创建软链以及软链切换出现的FileAlreadyExistsException以及软链包不存在异常原因分析记录
weixin_42506330的博客
06-25 649
一、创建软链 JDK java.nio.file 下Files类 提供了原生的软链创建API public static Path createSymbolicLink(Path link, Path target,FileAttribute<?>... attrs) throws IOException { provider(link).createSymbolicLink(link, target, attrs); return link;
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apa
qq_48499752的博客
11-03 1917
fink中异常
【奇奇怪怪bug】Flink 1.10 on yarn ,application 在yarn 显示Running ，webui 显示Failed
Zsigner的博客
08-20 2820
今天产品气势汹汹的跑过来跟我说，生产环境的实时程序不对啊！！！！添加数据一直看不到展示 开始不可能三连：1.不可能吧，早上还好端端的 2.不可能会出问题的，可能是网络延迟 3.不可能出不来啊，是不是你没清缓存，你清缓存试试看 打发了产品回去之后，立马登上去看 1.排查 1.1 yarn 运行的好端端的,没收到电话跟短信是正常的（ps：这里加了监控实时任务挂掉的话是会电话短信通...
Springboot项目打包部署异常：java.io.FileNotFoundException: file:/xxx/xxx.jar!/BOOT-INF/classes!/xxx.yml
weixin_43745568的博客
04-21 3713
Springboot打jar包部署异常 2020-04-21 10:13:39.057[http-nio-8888-exec-9] ERROR jar:file:/opt/intelligence/intelligence_analysis-0.0.1-SNAPSHOT.jar!/BOOT-INF/classes!/application.properties (没有那个文件或目录) java.i...
flink写文件报错（lang.NoClassDefFoundError: org/apache/flink/api/common/typeinfo/TypeInformation）
qq_39315954的博客
11-30 1907
1. 使用Flink存储parquet文件报错 21/07/15 14:24:47 INFO checkpoint.CheckpointCoordinator: Triggering checkpoint 2 (type=CHECKPOINT) @ 1626330287296 for job 06a80360b770722f8dd3e41252a5a8d7. 21/07/15 14:24:47 INFO filesystem.Buckets: Subtask 2 checkpointing for chec
Flink系列：解决NoClassDefFoundError:org/apache/flink/streaming/api/environment/StreamExecutionEnvironment
NIO4444
05-31 1万+
问题 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/environment/StreamExecutionEnvironment at csdn.xdoctorx.SocketWindowWordCountJava.main(SocketWindowWordCountJava.java:45) Caused by: java.lang.ClassNotFou...
flink重启策略
大数据技术分享中心
03-09 1477
（转载于 微信公众号：zhisheng） 本章将介绍两个最佳实践，第一个是如何合理的配置重启策略，笔者通过自己的亲身经历来讲述配置重启策略的重要性，接着介绍了 Flink 中的重启策略和恢复策略的发展实现过程；第二个是如何去管理 Flink 作业的配置。两个实践大家可以参考，不一定要照搬运用在自己的公司，同时也希望你可以思考下自己是否有啥最佳实践可以分享。 从使用 Flink 到至今，遇到的 Flink 有很多，解决的问题更多（含帮助微信好友解决问题），所以对于 Flink 可能遇到的问题及解决办法都比较清
给服务器安装Anaconda遇到的问题和解决办法
热门推荐
smileglaze的博客
08-13 2万+
首先如果直接敲 bash Anaconda3-5.2.0-Linux-x86_64.sh 告诉我已存在 ERROR: File or directory already exists: '/root/anaconda3' If you want to update an existing installation, use the -u option. 需要使用 bash Anac...
CentOS7上安装anaconda3及其遇到的问题
mysteryflower的专栏
06-20 1万+
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 国内镜像，下载速度快。不要选择最新版，有问题，建议 4.3.0。 运行命令 conda -V，返回版本号即安装成功。 1、通过命令行工具 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anacond...
org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
qq_33010901的博客
08-31 5016
问题1：Recovery is suppressed by NoRestartBackoffTimeStrategy 问题2：sun.misc.Unsafe.monitorEnter(Ljava/lang/Object;)V，Java版本不对，pom中指定Java版本，设置中修改java版本。
kafka+flink集成实例
左岸天涯--博客
03-16 7116
kafka+flink集成 1.目的 1.1 Flink简介 Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执行模型（streaming execution model），能够支持流处理和批处理两种应用类型。 flink特性 支持批处理和数据流程序处理 优雅流畅的支持java和scala api 同时支持高吞吐量和低延迟 支持事件处理...
FLINK异常总结
迷思
12-23 8261
Flink常见错误和解决方法总结，希望能给大家提供有用的帮助~~有任何好的建议请大家不吝赐教！！！Flink这B玩意儿的API玩意儿是极其难用的~~~~还请大家慎重
Flink Java Example之AsyncIOExample详解
小末的博客
07-13 4270
我们学习完Flink相关概念之后发现对Flink编程和程序还是一无所知。这时候我们就需要官方的代码example进行学习和研究，本文就官网github的AsyncIOExample的例子进行详细的代码注释。（ps：其实大家应该都能看懂哈）
sudo mv ./ flink-1.9.1 ./flink mv: 目标'./flink' 不是目录
最新发布
11-18
根据提供的引用，`sudo mv ./ flink-1.9.1 ./flink`这个命令的作用是将当前目录下的所有文件和文件夹移动到名为`flink-1.9.1`的目录下，并将`flink-1.9.1`目录重命名为`flink`，然后将`flink`目录的所有者和所属组都...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值