Flink报错之设备上没有空间

最新推荐文章于 2024-04-30 14:34:02 发布
最新推荐文章于 2024-04-30 14:34:02 发布
阅读量804 收藏
点赞数
文章标签： flink linux java sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41465010/article/details/111715290
版权

Flink1.11.2 设备上没有空间

1.报错信息

2020-12-26 09:42:02
org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
	at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:116)
	at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.getFailureHandlingResult(ExecutionFailureHandler.java:78)
	at org.apache.flink.runtime.scheduler.DefaultScheduler.handleTaskFailure(DefaultScheduler.java:192)
	at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeHandleTaskFailure(DefaultScheduler.java:185)
	at org.apache.flink.runtime.scheduler.DefaultScheduler.updateTaskExecutionStateInternal(DefaultScheduler.java:179)
	at org.apache.flink.runtime.scheduler.SchedulerBase.updateTaskExecutionState(SchedulerBase.java:503)
	at org.apache.flink.runtime.jobmaster.JobMaster.updateTaskExecutionState(JobMaster.java:386)
	at sun.reflect.GeneratedMethodAccessor14.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcInvocation(AkkaRpcActor.java:284)
	at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:199)
	at org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.handleRpcMessage(FencedAkkaRpcActor.java:74)
	at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:152)
	at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:26)
	at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:21)
	at scala.PartialFunction$class.applyOrElse(PartialFunction.scala:123)
	at akka.japi.pf.UnitCaseStatement.applyOrElse(CaseStatements.scala:21)
	at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:170)
	at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171)
	at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171)
	at akka.actor.Actor$class.aroundReceive(Actor.scala:517)
	at akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:225)
	at akka.actor.ActorCell.receiveMessage(ActorCell.scala:592)
	at akka.actor.ActorCell.invoke(ActorCell.scala:561)
	at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:258)
	at akka.dispatch.Mailbox.run(Mailbox.scala:225)
	at akka.dispatch.Mailbox.exec(Mailbox.scala:235)
	at akka.dispatch.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
	at akka.dispatch.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
	at akka.dispatch.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
	at akka.dispatch.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
Caused by: java.util.concurrent.ExecutionException: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator
	at java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357)
	at java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1915)
	at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.quiesceTimeServiceAndCloseOperator(StreamOperatorWrapper.java:161)
	at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.close(StreamOperatorWrapper.java:130)
	at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.close(StreamOperatorWrapper.java:80)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.closeOperators(OperatorChain.java:302)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.afterInvoke(StreamTask.java:576)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:544)
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:721)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:546)
	at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator
	at org.apache.flink.streaming.runtime.tasks.OperatorChain$ChainingOutput.pushToOperator(OperatorChain.java:629)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain$ChainingOutput.collect(OperatorChain.java:603)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain$ChainingOutput.collect(OperatorChain.java:563)
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:52)
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:30)
	at org.apache.flink.streaming.api.operators.StreamSourceContexts$NonTimestampContext.collect(StreamSourceContexts.java:104)
	at org.apache.flink.streaming.api.functions.source.ContinuousFileReaderOperator.readAndCollectRecord(ContinuousFileReaderOperator.java:361)
	at org.apache.flink.streaming.api.functions.source.ContinuousFileReaderOperator.processRecord(ContinuousFileReaderOperator.java:326)
	at org.apache.flink.streaming.api.functions.source.ContinuousFileReaderOperator.lambda$new$0(ContinuousFileReaderOperator.java:225)
	at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$1.runThrowing(StreamTaskActionExecutor.java:47)
	at org.apache.flink.streaming.runtime.tasks.mailbox.Mail.run(Mail.java:78)
	at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxExecutorImpl.yield(MailboxExecutorImpl.java:79)
	at org.apache.flink.streaming.api.functions.source.ContinuousFileReaderOperator.close(ContinuousFileReaderOperator.java:447)
	at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.lambda$closeOperator$5(StreamOperatorWrapper.java:205)
	at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$1.runThrowing(StreamTaskActionExecutor.java:47)
	at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.closeOperator(StreamOperatorWrapper.java:203)
	at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.lambda$deferCloseOperatorToMailbox$3(StreamOperatorWrapper.java:177)
	at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$1.runThrowing(StreamTaskActionExecutor.java:47)
	at org.apache.flink.streaming.runtime.tasks.mailbox.Mail.run(Mail.java:78)
	at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxExecutorImpl.tryYield(MailboxExecutorImpl.java:90)
	at org.apache.flink.streaming.runtime.tasks.StreamOperatorWrapper.quiesceTimeServiceAndCloseOperator(StreamOperatorWrapper.java:155)
	... 8 more
Caused by: java.lang.RuntimeException: 设备上没有空间
	at org.apache.flink.streaming.runtime.io.RecordWriterOutput.pushToRecordWriter(RecordWriterOutput.java:110)
	at org.apache.flink.streaming.runtime.io.RecordWriterOutput.collect(RecordWriterOutput.java:89)
	at org.apache.flink.streaming.runtime.io.RecordWriterOutput.collect(RecordWriterOutput.java:45)
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:52)
	at org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:30)
	at SourceConversion$1.processElement(Unknown Source)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain$ChainingOutput.pushToOperator(OperatorChain.java:626)
	... 28 more
Caused by: java.io.IOException: 设备上没有空间
	at sun.nio.ch.FileDispatcherImpl.writev0(Native Method)
	at sun.nio.ch.FileDispatcherImpl.writev(FileDispatcherImpl.java:72)
	at sun.nio.ch.IOUtil.write(IOUtil.java:148)
	at sun.nio.ch.FileChannelImpl.write(FileChannelImpl.java:239)
	at java.nio.channels.FileChannel.write(FileChannel.java:414)
	at org.apache.flink.runtime.io.network.partition.BufferReaderWriterUtil.writeToByteChannel(BufferReaderWriterUtil.java:124)
	at org.apache.flink.runtime.io.network.partition.FileChannelBoundedData.writeBuffer(FileChannelBoundedData.java:69)
	at org.apache.flink.runtime.io.network.partition.BoundedBlockingSubpartition.writeAndCloseBufferConsumer(BoundedBlockingSubpartition.java:165)
	at org.apache.flink.runtime.io.network.partition.BoundedBlockingSubpartition.flushCurrentBuffer(BoundedBlockingSubpartition.java:144)
	at org.apache.flink.runtime.io.network.partition.BoundedBlockingSubpartition.add(BoundedBlockingSubpartition.java:125)
	at org.apache.flink.runtime.io.network.partition.ResultPartition.addBufferConsumer(ResultPartition.java:239)
	at org.apache.flink.runtime.io.network.api.writer.ResultPartitionWriter.addBufferConsumer(ResultPartitionWriter.java:97)
	at org.apache.flink.runtime.io.network.api.writer.RecordWriter.addBufferConsumer(RecordWriter.java:284)
	at org.apache.flink.runtime.io.network.api.writer.ChannelSelectorRecordWriter.requestNewBufferBuilder(ChannelSelectorRecordWriter.java:104)
	at org.apache.flink.runtime.io.network.api.writer.RecordWriter.copyFromSerializerToTargetChannel(RecordWriter.java:149)
	at org.apache.flink.runtime.io.network.api.writer.RecordWriter.emit(RecordWriter.java:120)
	at org.apache.flink.runtime.io.network.api.writer.ChannelSelectorRecordWriter.emit(ChannelSelectorRecordWriter.java:60)
	at org.apache.flink.streaming.runtime.io.RecordWriterOutput.pushToRecordWriter(RecordWriterOutput.java:107)
	... 34 more

在这里插入图片描述

2.解决思路

百度到了Spark相关的报错信息spark：java.io.IOException：设备上没有剩余空间[再次！]，其给出的解决方案是更改spark的临时目录，因为默认为/tmp，而这是个非常小的分区。在flink-conf.yaml中搜索tmp，将属性io.tmp.dirs设置为空间较大的目录即可，例如/data3/tmp。

#==============================================================================
# Advanced
#==============================================================================

# Override the directories for temporary files. If not specified, the
# system-specific Java temporary directory (java.io.tmpdir property) is taken.
#
# For framework setups on Yarn or Mesos, Flink will automatically pick up the
# containers' temp directories without any need for configuration.
#
# Add a delimited list for multiple directories, using the system directory
# delimiter (colon ':' on unix) or a comma, e.g.:
#     /data1/tmp:/data2/tmp:/data3/tmp
#
# Note: Each directory entry is read from and written to by a different I/O
# thread. You can include the same directory multiple times in order to create
# multiple I/O threads against that directory. This is for example relevant for
# high-throughput RAIDs.
#
io.tmp.dirs: /data3/tmp

再次尝试运行，成功！
在这里插入图片描述

weixin_41465010
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java设备上没有空间_spark：java.io.IOException：设备上没有剩余空间[再次！]
weixin_39754398的博客
03-02 962
我收到了java.io.IOException：在sparklyr中运行简单查询后,设备上没有剩余空间.我使用最新版本的Spark(2.1.1)和Sparklyrdf_new myquery % group_by(text) %>% summarize(mycount = n()) %>%arrange(desc(mycount)) %>% head(10)#this FAILS...
【日常Exception】第十三回：java.io.IOException 设备上没有空间
热门推荐
Yangy的博客
01-09 1万+
1.问题 今天在开发环境通过Jenkins部署项目时，返现部署特别满。后进服务器排查问题。 项目是一个老项目，SSM框架的项目，通过tomcat部署war包。通过free命令，查看内存使用情况。发现内存已经高达97%。 再通过ps -ef|grep java查看项目启动情况。看到需要部署的项目也是进程中正在运行。于是，再进入该项目logs目录，通过tail -f查看输出日志，发现日志已经停滞...
VMware虚拟机中ubuntu使用记录（1）—— 关于VMware虚拟机磁盘空间不足，原因分析和扩展磁盘内存空间的方法（亲测有效）
最新发布
2401_82458959的博客
04-30 3026
VMware是一款强大的虚拟化软件，可以帮助用户在一台物理计算机上同时运行多个虚拟操作系统。通过VMware，用户可以轻松地创建、管理和运行虚拟机，实现资源的有效利用和提高工作效率。在使用VMware的过程中，有时会遇到虚拟机磁盘空间不足的问题。这可能是由于虚拟机中的文件过多，或者磁盘空间设置不足导致的。特别是在使用增长式磁盘模式并通过VMware Tools插件进行文件复制时，每次复制文件都会在.cache文件夹中生成临时文件，导致.vmdk文件占据的空间逐渐增大。
java.io.ioexception: 磁盘空间不足,Spark：java.io.IOException：设备上没有剩余空间
weixin_35399893的博客
02-27 1013
Now I am learning how to use spark.I have a piece of code which can invert a matrix and it works when the order of the matrix is small like 100.But when the order of the matrix is big like 2000 I have...
启动jar包报错 java.nio.file.FileSystemException: /tmp/tomcat.8001.8924344540667220238: 设备上没有空间
SummerIsMe的博客
07-27 2150
. ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\__, | / / / / =========|_|==============|___/=/_/_/_/ :: Spr...
简单记一次linux系统启动项目时报： 设备上没有空间（转载）
博客
06-08 2796
状况java项目，启动时报错（其他项目应该是一样的类型）java.lang.IllegalStateException: Logback configuration error detected: ERROR in ch.qos.logback.core.rolling.RollingFileAppender[FILE] - Could not close output stream for OutputStreamAppender. java.io.IOException: 设备上没有空间原因服务器中的物
Flink TaskManger链接不上
08-13
Flink TaskManger链接不上
flink开发实战之flink原理解析
01-27
我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。...Flink的出现完美的解决了以上问题，这也是flink出现的原因，flink不仅能提供同时支持高吞吐和exactly-once语义的实时计算，
Flink流处理之迭代案例
01-27
当前Flink将迭代的重心集中在批处理上，之前我们谈及了批量迭代和增量迭代主要是针对批处理（DataSet）API而言的，并且Flink为批处理中的迭代提供了针对性的优化。但是对于流处理（DataStream），Flink同样提供了对...
大数据技术之Flink教程
04-02
【大数据技术之Flink教程】 Flink，源自于Stratosphere项目，自2014年起成为Apache软件基金会的顶级项目，旨在提供一个用于分布式、高性能、随时可用以及准确的流处理应用程序的开源流处理框架。Flink的设计目标是...
java设备上没有空间_EMR中使用Spark LSH时的“设备上没有空间”错误和SIGTERM信号...
weixin_30086969的博客
03-02 274
Spark版本-2.3.28执行人每个执行器-5芯一。s3中有数百万个numpy特性(.npy文件)。2。使用spark下载所有numpy特征向量。三。将它们转换为Spark数据帧,其中数据帧模式是特征名称(字符串)和特征向量(VectorUDT)。四。然后在数据帧之间使用spark查找LSH。代码:-import numpy as npfrom pyspark.ml.linalg import ...
记一次tmp目录被写满导致服务器崩溃的产线事故
ChenHuaiJie0912的博客
11-22 1415
今天在产线报警群报出了我们某个服务失去响应的情况，打开跳板机登录发现果然登录不上了。 开始排查问题，这个问题已经不是第一次了，时间也很固定，每天9点多开始，初步定位是定时任务引起，看xxl-job面板，发现确实有两个定时任务是9点开始执行的。经过与运维沟通，确定是tmp目录(我们只有3.6G写满导致)，开始检查代码，发现的确有很多指定了/tmp目录的代码，而且定时任务产生的文件非常大且多，最终导致服务器失去了响应。 在我们开发过程中，我们应该尽量少用tmp目录，在开发过程中我们指定其他位置。 当我们用
【已解决】Flink连接JDBC报错 org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
qq_31412425的博客
06-10 3764
true修改为false即可。集成环境Idea2020。
Flink报错: Could not forward element to next operator
雾岛与鲸的博客
03-17 2951
Flink 版本 1.9.1 程序报错: 原因: watermark的event_time为null导致
【Flink】ExceptionInChainedOperatorException: Could not forward element to next operator Buffer
九师兄
07-03 3061
1.美图 2.概述 flink集成siddhi然后报错 2020-04-14 20:32:45,587 INFO com.dbapp.baas.engine.common.siddhi.operator.AbstractSiddhiControlOperator - siddhioperator #^# start rule : sumBytesInSrcAddressAppProtoco...
flink1.12.0中flink-jdbc-connector死锁问题探究
On My Way
11-27 840
flink 1.12.0 flink 1.12.0的flink-connector-jdbc死锁 DriverManager死锁
Flink 写入 OSS问题记录
Jhon_yh的博客
09-09 1269
目录问题描述 Caused by: java.io.IOException: No space left on deviceFlink读写流程解决办法 问题描述 Caused by: java.io.IOException: No space left on device Caused by: java.io.IOException: No space left on device at java.io.FileOutputStream.writeBytes(Native Method)
Flink问题记录
qq_15138049的博客
05-09 1660
Flink问题记录
flink sink 涉及 字符串 转 Decimal类型导致报错 For input string: ‘864718064999999‘. Overflow.
yy的博客
07-20 281
因为Sink的表DDL中 Decimal字段是 Decimal(12,4) 但是从kafka接受的字符串想cast成decimal(12,4)的类型就会报错.
flink报错Could not execute CreateTable in path
05-30
这个报错信息比较简略，无法明确定位问题。通常这个报错信息是在执行Flink SQL语句时出现的，可能是由于路径或权限问题导致的。建议检查以下几个方面： 1. 检查创建表的路径是否正确，如果路径不存在或者没有权限访问该路径，就会出现这个报错信息。 2. 检查表名是否重复，如果表名已经存在，则无法创建同名表。 3. 检查Flink的版本是否兼容，有些Flink版本可能不支持某些SQL语法或者操作。 4. 检查Flink配置文件中的相关配置是否正确，比如文件系统的配置、Hadoop的配置等。 如果以上方面都没有问题，可以尝试查看更详细的日志信息来定位问题。建议在Flink的配置文件中开启更详细的日志输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值