java.lang.RuntimeException: Failed to serialize element. Serialized size (＞ 134217729 bytes) exceeds

已于 2022-10-14 10:31:04 修改
阅读量973 收藏
点赞数 1
分类专栏： flink 文章标签： java scala spark
于 2022-10-14 10:26:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012447842/article/details/127315424
版权 

java.lang.RuntimeException: Failed to serialize element. Serialized size (> 268435457 bytes) exceeds JVM heap space
org.apache.flink.streaming.runtime.io.RecordWriterOutput.pushToRecordWriter(RecordWriterOutput.java:109)
org.apache.flink.streaming.runtime.io.RecordWriterOutput.collect(RecordWriterOutput.java:93)
org.apache.flink.streaming.runtime.io.RecordWriterOutput.collect(RecordWriterOutput.java:44)
org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:50)
org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:28)
org.apache.flink.streaming.api.operators.TimestampedCollector.collect(TimestampedCollector.java:50)
com.hzw.fdc.function.online.MainFabWindow.MainFabProcessEndFunction.processElement(MainFabProcessEndFunction.scala:80)
com.hzw.fdc.function.online.MainFabWindow.MainFabProcessEndFunction.processElement(MainFabProcessEndFunction.scala:21)
org.apache.flink.streaming.api.operators.KeyedProcessOperator.processElement(KeyedProcessOperator.java:83)
org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:191)
org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.processElement(StreamTaskNetworkInput.java:204)
org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.emitNext(StreamTaskNetworkInput.java:174)
org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:65)
org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:398)
org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:191)
org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:619)
org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:583)
org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:758)
org.apache.flink.runtime.taskmanager.Task.run(Task.java:573)
java.lang.Thread.run(Thread.java:748)
Caused by: java.io.IOException: Failed to serialize element. Serialized size (> 268435457 bytes) exceeds JVM heap space
org.apache.flink.core.memory.DataOutputSerializer.resize(DataOutputSerializer.java:312)
org.apache.flink.core.memory.DataOutputSerializer.write(DataOutputSerializer.java:108)
org.apache.flink.types.StringValue.writeString(StringValue.java:837)
org.apache.flink.api.common.typeutils.base.StringSerializer.serialize(StringSerializer.java:68)
org.apache.flink.api.common.typeutils.base.StringSerializer.serialize(StringSerializer.java:31)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:109)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:32)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:115)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:110)\n\tat
scala.collection.immutable.List.foreach(List.scala:381)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:110)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:36)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:109)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:32)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:115)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:110)\n\tat
scala.collection.immutable.List.foreach(List.scala:381)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:110)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:36)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:109)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:32)\n\tat
org.apache.flink.streaming.runtime.streamrecord.StreamElementSerializer.serialize(StreamElementSerializer.java:168)\n\tat
org.apache.flink.streaming.runtime.streamrecord.StreamElementSerializer.serialize(StreamElementSerializer.java:46)\n\tat
org.apache.flink.runtime.plugable.SerializationDelegate.write(SerializationDelegate.java:54)\n\tat
org.apache.flink.runtime.io.network.api.writer.RecordWriter.serializeRecord(RecordWriter.java:130)\n\tat
org.apache.flink.runtime.io.network.api.writer.RecordWriter.emit(RecordWriter.java:104)\n\tat
org.apache.flink.runtime.io.network.api.writer.ChannelSelectorRecordWriter.emit(ChannelSelectorRecordWriter.java:54)\n\tat
org.apache.flink.streaming.runtime.io.RecordWriterOutput.pushToRecordWriter(RecordWriterOutput.java:107)\n\t... 19 more\n
Caused by: java.lang.OutOfMemoryError: Java heap space
org.apache.flink.core.memory.DataOutputSerializer.resize(DataOutputSerializer.java:308)\n\tat
org.apache.flink.core.memory.DataOutputSerializer.write(DataOutputSerializer.java:108)\n\tat
org.apache.flink.types.StringValue.writeString(StringValue.java:837)\n\tat
org.apache.flink.api.common.typeutils.base.StringSerializer.serialize(StringSerializer.java:68)\n\tat
org.apache.flink.api.common.typeutils.base.StringSerializer.serialize(StringSerializer.java:31)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:109)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:32)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:115)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:110)\n\tat
scala.collection.immutable.List.foreach(List.scala:381)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:110)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:36)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:109)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:32)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:115)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer$$anonfun$serialize$1.apply(TraversableSerializer.scala:110)\n\tat
scala.collection.immutable.List.foreach(List.scala:381)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:110)\n\tat
org.apache.flink.api.scala.typeutils.TraversableSerializer.serialize(TraversableSerializer.scala:36)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:109)\n\tat
org.apache.flink.api.scala.typeutils.CaseClassSerializer.serialize(CaseClassSerializer.scala:32)\n\tat
org.apache.flink.streaming.runtime.streamrecord.StreamElementSerializer.serialize(StreamElementSerializer.java:168)\n\tat
org.apache.flink.streaming.runtime.streamrecord.StreamElementSerializer.serialize(StreamElementSerializer.java:46)\n\tat
org.apache.flink.runtime.plugable.SerializationDelegate.write(SerializationDelegate.java:54)\n\tat
org.apache.flink.runtime.io.network.api.writer.RecordWriter.serializeRecord(RecordWriter.java:130)\n\tat
org.apache.flink.runtime.io.network.api.writer.RecordWriter.emit(RecordWriter.java:104)\n\tat
org.apache.flink.runtime.io.network.api.writer.ChannelSelectorRecordWriter.emit(ChannelSelectorRecordWriter.java:54)\n\tat
org.apache.flink.streaming.runtime.io.RecordWriterOutput.pushToRecordWriter(RecordWriterOutput.java:107)\n\tat
org.apache.flink.streaming.runtime.io.RecordWriterOutput.collect(RecordWriterOutput.java:93)\n\tat
org.apache.flink.streaming.runtime.io.RecordWriterOutput.collect(RecordWriterOutput.java:44)\n\tat
org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:50)\n\tat
org.apache.flink.streaming.api.operators.CountingOutput.collect(CountingOutput.java:28

造成可能出现的现象：
1： 可能时processfunction代码的缓存数据过大
2： flink 算子返回到下游的字节过大， 超过了jvm分配的内存
3： flink 写入到kafka 的消息体超过了kafka 可接受的最大message， 需要调整kafka配置
解决方案：
优化1： 优化代码，处理缓存量； 传输到下游的消息体大小
优化2： 增大内存

千里风雪
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair 解决方法总结
08-25
主要介绍了javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair 解决方法，有需要的朋友们可以学习下。
Google Protobuf 数据类型区别
873149745
11-12 964
这里说下int32 , sint32 , fixed32 区别直接上测试数据 int32 : 正数时： 1、不传值即默认值0个字节 2、1~127是1个字节 3、128~16383 是2个字节 3、16384~2097151是3个字节 5、2097152~268435455是4个字节 6、268435456~2147483647是5个字节 负数时： 1、只要是负数就占10个字节 sint : 正数时： 1、不传值即默认值0个字节 2、1~63是1个字节 3、64~8191是2个字节 4、8192~
CBC，EBC加密解密
小灰灰的博客
05-11 323
需要引入的js文件tripledes2。
同城艺龙code
weixin_34223655的博客
03-28 350
为什么80%的码农都做不了架构师？>>> ...
【2021-03-17】JS逆向之某实时票房榜数据解密
骑毛驴的猴的博客
03-17 2277
文章目录前言一、页面分析二、参数解析三、源码分享 前言 目标地址：aHR0cHM6Ly93d3cuZW5kYXRhLmNvbS5jbi9Cb3hPZmZpY2UvaW5kZXguaHRtbA== 一、页面分析 进入网页，这四个xhr随便点一个，看到数据是加密~（就喜欢搞这种数据加密的，多半涉及到DES、AES、Base64加密类型） 二、参数解析 直接走栈，可以看到明显的加密位置，下断点再发请求 进到webInstace.shell这个方法里，可以看出是明显的DES加密，然后JS做了OB混淆，这.
2019-06-12_java.lang.RuntimeException: Serialized class com.taotao.common.pojo.SearchItem must imple...
weixin_30649859的博客
06-12 563
java.lang.RuntimeException: Serialized class com.taotao.common.pojo.SearchItem must implement java.io.Serializable Java field: private java.util.List com.taotao.common.pojo.SearchResult.itemList at co...
RabbitMQ消费消息坑：failed to convert serialized Message content
qq_1801743621的博客
05-03 6607
RabbitMQ消费消息坑：failed to convert serialized Message content；SpringCloud整合RabbitMQ（入门到精通）
RabbitMQ反序列化失败：Failed to convert message
ManGooo0的博客
09-05 3712
把这个对象放到公共模块，然后生产者和消费者服务引入这个公共模块，生产者和消费者发送和消费时共用一个对象。这样完全保证了两个项目中JavaBean是一致的，所以能解决反序列失败的问题。这个异常信息表明在处理消息时出现了问题，具体地说，它是由于消息内容的反序列化失败引起的。缺点：局限性太小，这种模式生产者和消费者只能在同一个微服务下才能使用。对象，内容是一模一样的包括序列化，可就是消费者接收时报序列化错误。根据异常信息的内容，问题似乎是由于反序列化消息内容时找不到类。我目前生产者和消费者都有一个。
RabbitMQ 学习笔记 -- 08 RabbitTemplate 及消息序列化
yorsola的博客
08-06 4135
生产者发送消息时可以为消息指定一些参数 Delivery mode: 是否持久化，1 - Non-persistent，2 - Persistent Headers：头文件可以有任何名称。这里只能设置长字符串头。 Properties: 设置消息属性(传递模式和头信息是最常见的情况)。无效的属性将被忽略. Valid properties are: content_type ： 消息内容的类型 content_encoding： 消息内容的编码格式 priority： 消息的
Spring-rabbit 消息的接收与发送 配置及实例
weixin_34060741的博客
05-01 306
2019独角兽企业重金招聘Python工程师标准>>> ...
已解决java.lang.RuntimeException: java.lang.RuntimeException: org.codehaus.plexus.component.repository.
热门推荐
03-20 8万+
已解决java.lang.RuntimeException: java.lang.RuntimeException: org.codehaus.plexus.component.repository.exc异常的正确解决方法，亲测有效！！！
java.lang.IllegalArgumentException:Input == null的异常处理
01-08
java.lang.ExceptionInInitializerError Caused by: java.lang.IllegalArgumentException: input == null! at javax.imageio.ImageIO.read(ImageIO.java:1388) at com.pleanwar.fiying.FlyingObject.loadImage...
java.lang.RuntimeException: Unsupported algorithm: HmacSHA1解决方法
12-14
java.lang.RuntimeException: Unsupported algorithm: HmacSHA1 解决方法，阿里云
解决 java.lang.RuntimeException: Could not generate DH keypair异常处理所需的bcprov的jar
02-14
解决 java.lang.RuntimeException: Could not generate DH keypair异常处理。 bcprov-ext-jdk15on-1.60、bcprov-jdk15on-1.60两个包放到jre下的$JAVA_HOME/jre/lib/ext的路径下，然后配置$JAVA_HOME/jre/lib/...
Android Caused by: java.lang.ClassNotFoundException解决办法
01-04
Android Caused by: java.lang.ClassNotFoundException解决办法 出现问题： 08-13 18:29:22.924: E/AndroidRuntime(1875): Caused by: Java.lang.ClassNotFoundException:XXXXX in loader dalvik.system....
flink流处理访问mysql
u012447842的博客
04-10 1万+
业务场景如下： 概述：采集工厂设备的数据。 flink连接emqtt，采集工业物联网的数据，进行流处理，工厂设备数据内没有machID， 需要从mysq的设备信息基础表根据gateMac获取对应的machID。 访问mysql实现思路（一）： flink项目在初始化的时候从mysql获取所有设备的基础信息，所遇问题：如果新增一个设备，flink项目需要重启一次...
flink 读取外部.properties的配置文件
u012447842的博客
02-02 9905
简述： flink JOB中的环境配置信息全部从代码里面抽出来放到配置文件中去。 主要讲一下对flink 自带的ParameterTool 的使用细节，以及遇到的问题，如何解决。 有三种方案： 1： 使用flink 的 Configuration 2： 采用广播变量 3： 使用flink 自带的ParameterTool读取外部配置文件 我这里介绍的是第三种方案： 使用flink 自带的ParameterTool读取外部配置文件 Flink 文档地址：https://github.com/apache/f
flink写入hbase
u012447842的博客
05-14 9097
参考： https://www.cnblogs.com/swordfall/p/10527423.html flink 流处理写入数据到hbase. 采用的是批量写入（500条数据写入一次）。 HBaseWriter.java package com.flink; import com.flink.model.DeviceData; import org.apache.commo...
Flink 自定义trigger 同时按照计数和时间触发窗口计算
u012447842的博客
07-15 8376
自定义窗口 实现同时按照计数和时间（processing-time）触发计算 Triggers ATriggerdetermines when a window (as formed by thewindow assigner) is ready to be processed by thewindow function. EachWindowAssignercomes wi...
Exception in thread "main" java.lang.RuntimeException: Failed : HTTP error code : 400
最新发布
11-09
这个错误通常表示在使用Java程序时，程序试图从Web服务器获取数据时出现了错误。HTTP错误代码400表示请求无效，可能是由于请求中缺少必需的参数或格式不正确导致的。要解决这个问题，你可以尝试以下几个步骤： 1.检查你的请求是否正确，确保所有必需的参数都已经包含在请求中，并且格式正确。 2.检查你的网络连接是否正常，确保你可以访问Web服务器。 3.检查Web服务器是否正常运行，如果服务器出现故障，你可能需要联系服务器管理员进行修复。 4.如果你使用的是Java程序，你可以尝试查看程序的日志文件，以确定错误的具体原因。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

千里风雪

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值