【Flink】ClassCastException 以及自定义序列化

最新推荐文章于 2022-10-20 15:09:54 发布
最新推荐文章于 2022-10-20 15:09:54 发布
阅读量494 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink ClassCast 自定义 序列化
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/116041744
版权
本文介绍了Flink在数据传输过程中遇到的ClassCastException问题，以及如何通过自定义序列化来解决此类问题。文章分析了数据传输的原理、可能出现的问题，并提供了源码分析，特别强调了在序列化过程中定位错误的难度。最后，作者给出了自定义序列化的测试类作为实践示例。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

因为上下游算子传输数据的时候需要进行序列化和反序列化，可以参考文章：95-268-280-源码-Flink通信层的序列化与反序列化 ，从这篇文章，我们指导数据传输的3个结论。

flink数据传输的方式可以分为以下几种：60-030-020-使用-UI-Flink 上下游算子并发之间的数据传递方式 Partitioner

flink数据传输的原理可以参考这个：95-235-050-源码-task-Flink task之间的数据交换

flink数据传输可能会遇到如下几个问题：

【Flink】Buffer pool

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】数据传输 挖个坑 把自己埋了 ClassCastException String cannot be cast to [LJava.lang.String
九师兄
04-10 504
1.概述 本故事纯属娱乐，故事发生在2000年前的古王朝。考古学家挖掘出大量的虫子，根据墓主人的相关资料表明，该墓主应该长期和虫子生活的一起，很可能是一个巫师，因为在墓主人的墓里发现大量如下研究资料 还有很多生命写照，类似这样的，每天的工作就是找虫子 而且他们还专门成立集体组织去造虫子 他们的一张黑白生活照经过专业上色处理，图示如下，因此猜测他们一般都是应该是这样的 因此专家最后结论，该墓主是被虫子弄死的。。。。 预知后事如何请听下回分解。。。 2. 背景 我写了一个程序。大致经过3步骤，所有的数
【Flink】Flink SQL 报错 ClassCastException: VarCharType cannot be cast to RowType
九师兄
12-24 1118
1.概述 背景参考：【Flink】FLink SQL 如何使用嵌套格式的Schema 我想要实现通过flink table api来实现： select * from Order order left join Store as store on order.store_id = store.id; 这条sql中Order对象中有个成员变量是自定义的Product对象，目前遇到问题不知道如何正确定义Order这种嵌套自定义对象的表的schema 看到这个问题的时候，其实我此时SQL都是不会的，然后
【Hudi数据湖应用】Flink作业同名类强转异常ClassCastException修复
m0_66705151的博客
06-27 985
运行flink作业时，出现同名类强转异常ClassCastException，这到底是怎么回事呢？应该怎么解决？阅读这篇文章，我们一起寻找答案。
redis反序列化时竟然抛出ClassCaseException，什么玩意啊
花满楼的博客
07-23 498
碰到一个奇怪的事情，把bean序列化存到redis中，在取出来转换为bean时，竟然直接抛出了ClassCaseException，什么玩意啊，我放进去，给我吐出来就不是之前存进去那个了，debug调试发现取出来的数据也没问题，但是在转换的时候就是不行。 排查半天发现一个很操蛋的事情，竟然是因为pom里面引入了热部署，注掉依赖，完美搞定。 这… <dependency> <groupId>org.springframework.boot</groupId
3.8、Flink流处理（Stream API）- State & Fault Tolerance（状态和容错）之 Custom Serialization for Managed
飞朋的博客
10-24 613
目录 使用自定义状态序列化器 状态序列化器和模式演化 TypeSerializerSnapshot 抽象 Flink 如何与 TypeSerializer 和 typeseriizersnapshot 抽象交互 堆外状态后端(例如rocksdbstateback后端) 堆状态后端(例如 memorystateback、fsstateback ) 预定义的方便的TypeSeriali...
kafka Producer 序列化问题
weixin_41608066的博客
12-10 1670
报错如下 Caused by: java.lang.ClassCastException: [B cannot be cast to java.lang.String 关键代码： Properties properties = new Properties(); properties.put("metadata.broker.list", "***"); properties.put("seri...
flink官网的kafka producer 报错
z471365897的专栏
09-05 3501
项目场景： flink官网的 kafka producer代码报错serialization.SimpleStringSchema 问题描述： flink官网的 kafka producer代码报错serialization.SimpleStringSchema stream.addSink(new FlinkKafkaProducer<String>( "zqjtest", (KafkaSerializationSchema<S...
大数据FLINK实时数仓项目实战
悦分享
10-06 6975
普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。 原始数据，日志和业务数据 。根据数据对象为单位进行分流，比如订单、页面访问等等。维度数据。对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。根据某个主题将
spark报错：ClassCastException: cannot assign instance of SerializedLambda to field
最新发布
Talk Is Cheap
10-20 1223
spark3
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。        通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 bootstrap.server=192.168.204.210:9092,192.168.204.211:9092,192.168.204.212:9092 group.id=testGroup auto.offse
flink调用toRetractStream方法发生各种java.lang.ClassCastException问题解决方法
weixin_43820544的博客
10-13 840
背景： 本菜鸟在造了一个extends了RichSinkFunction<ItemCountSum2>的mysqlsink class，想把Table中数据转换成指定对象的流，再sink入mysql当中，又遇到一个当时难整的bug。 出现问题： 经排除，问题出现在这段代码块中 解决思路： 检查代码中是否有转换问题出错，然而并没有，继续尝试缩短错误范围， 发现并不是flatMap算子的问题，而是toRetra...
kafka和Spring Cloud Stream 混用导致stream 发送消息出现序列化失败问题: java.lang.ClassCastException:
戊的博客
10-15 1949
由于项目中kafka配置中key和value 的序列化方式为 key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer 服务启动时，会给cloud-stream 装载绑...
Flink实战(Java)：自定义序列化器KafkaSerializationSchema和反序列化器KafkaDeserializationSchema
杜海的博客
10-28 6261
自定义序列化器： package com.sink; import org.apache.flink.streaming.connectors.kafka.KafkaSerializationSchema; import org.apache.kafka.clients.producer.ProducerRecord; import com.alibaba.fastjson.JSONObject; public class CustomKafkaSerializationSchema implem
启动flink时遭遇类型转换异常无法解决？
chunsheng3307的博客
06-13 1754
一、现象 启动flink时遭遇类型转换异常，异常信息如下： java.lang.ClassCastException: class [B cannot be cast to class [C ([B and [C are in module java.base of loader...
flink开发过程中遇到的问题
公众号[大数据技术与应用实战]，分享大数据实战案例
05-30 3644
文章目录类转换异常local class incompatible 类转换异常 cannot be cast to com.google.protobuf.Message Caused by: java.lang.ClassCastException: org.apache.hadoop.yarn.proto.YarnServiceProtos$RegisterApplicationMasterRequestProto cannot be cast to com.google.protobuf.Messa
flink 任务启动失败:Caused by: java.lang.ClassCastException: io.netty.channel.epoll.EpollEventLoopGroup can
u011250186的博客
06-27 3161
场景:使用flink 连接Cassandra报错: Caused by: java.lang.ClassCastException: io.netty.channel.epoll.EpollEventLoopGroup cannot be cast to io.netty.channel.EventLoopGroup at com.datastax.driver.core.NettyUt...
springboot+redis缓存使用，“相同”的类不能转化（序列化），ClassCastException解决方法
qq_45934257的博客
11-23 1103
写在前面 如果你的项目里面使用到了Devtools，请继续往下看！ 问题描述如图，“相同”的类之间转化不了！！！，报异常，为什么会这样呢？ 首先咱的先了解一下Devtools的工作原理： Devtools底层使用到了两个类加载器，一个负责加载基本不会变动的类（第三方依赖），另一个类加载器（restart ClassLoader）则负责加载会更改的类（不就是咱自己编写的类吗？），当有代码更改后，原来的restart ClassLoader就会被丢弃，会重新造一个restart ClassLoader。 那这和
Flink CDC MySQL自定义反序列化器实现解析
"flink cdc mysql 自定义反序列化器" 在Flink CDC (Change Data Capture) 与MySQL的集成过程中，自定义反序列化器（Deserializer）是至关重要的一个环节。这个PDF文档似乎讲述了一个名为"MyDeserializerFunc"的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值