【Flink】Object Reuse 模式（Stream API） 性能优化 chain 数据重用 不深拷贝、对象重用

已于 2023-12-24 18:55:32 修改
阅读量1.7k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink 性能优化 chain 数据重用 深拷贝
于 2020-07-01 22:23:06 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105967166
版权
大数据-flink 专栏收录该内容
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Flink中Object Reuse模式如何提高性能，避免深拷贝带来的开销。默认情况下，Flink在Chained Operator间通过深拷贝传递数据，但Object Reuse可以通过复用对象提升效率。然而，启用该模式需要用户函数遵循特定规范，如不存储输入数据到State或修改已输出对象。文章通过分析源码，探讨了Object Reuse在Stream API和Batch API中的差异，以及与watermark的关联，揭示了深拷贝在某些场景下的必要性，并分享了遇到的深拷贝陷阱。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1. 概述

在这里插入图片描述

昨天在界面上看到一句话，主管让加上去，于是我去查查这个参数有什么用

官网：https://ci.apache.org/projects/flink/flink-docs-stable/dev/execution_configuration.html

enableObjectReuse() / disableObjectReuse() By default, objects are not reused in Flink. Enabling the object reuse mode will instruct the runtime to reuse user objects for better performance. Keep in mind that this can lead to bugs when

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Object Reuse 数据重用 深拷贝 一些坑
九师兄
10-20 620
1.概述 我们为了提高程序的性能使用了 Object Reuse 数据重用，这个东西的介绍请参考 【Flink】Object Reuse 模式（Stream API） 性能优化 chain 数据重用 不深拷贝 ，然后因为数据重用，一直没有出现问题。因此也没考虑。 但是今天出了问题。 大概意思是 在chain模式下，在算子c中对一个数据进行更改，那么在B中，可以看到更改后的数据，在B中修改C也能看到。 在非Chain模式下，是没有这个问题的。 这就比较有意思了，必须去看看呀。 2.场景再现 2.1 ch
【Flink】Flink 批处理模式Map端数据聚合 NormalizedKeySorter
九师兄
06-25 841
转载：Flink源码分析——批处理模式Map端数据聚合在flink的批处理模式下，数据的计算也有着两端的计算模型，这一点和MR、spark计算框架是类似的。，，这一过程的目的是将数据进行预聚合，减少中间的数据传输量，也减轻了reduce端数据计算的压力。在《Batch模式JobGraph的创建》中我们分析了在数据聚合的map端，数据最终会经过combiner算子处理，在batch模式下，chain在一起的算子都被封装成ChainedDriver，这个combiner算子就被封装成了SynchronousCh
浅谈Flink对象重用（object reuse）
LittleMagic's Blog
02-01 4427
前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作变动影响，博客又荒废了许久。今天难得有空，就前段时间内部技术分享里提到的一个小知识点来写几笔。 对象重用(object reuse)在Flink文档的Execution Configuration一节中并不起眼，并且关于它的说明也语焉不详，如下： enableObjectReuse() / disableObjectReuse() ...
Flink 网络传输优化技术
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 881
作为工业级的流计算框架，Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据，所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。此外，Flin...
一文搞懂 Flink OperatorChain 对象重用
shengjk1的博客
06-17 473
OperatorChain 的对象重用，可以提高效率，但什么情况下可以重用，什么情况下不可以重用，我们一起来看你一下代码：首先，在OperatorChain 类的 createChainedOperator 方法 如果启用了对象重用，即 isObjectReuseEnabled==true，创建的 outPut 为 ChainingOutput，如果没有启用对象重用，则 outPut 为 CopyingChainingOutput。需要明确的是 currentOperatorOutput 是为给下游算子输入
IDEA 告警：Stream API call chain can be simplified
JavaEdge全是干货的技术号
10-25 1440
通知流 API 调用链，可以简化。它允许在遍历集合时避免创建冗余的临时对象。 此检查替换了以下调用链： collection.stream().forEach() → collection.forEach() collection.stream().collect(toList/toSet/toCollection()) → new CollectionType<>(collection) collection.stream().toArray() → collection.toArray()
Flink性能优化小结
最新发布
MDZ_1122333322的博客
01-10 1337
可以通过开启缓冲消胀机制来简化 Flink 网络的内存配置调整。您也可能需要调整它。如果这不起作用，您可以关闭缓冲消胀机制并且人工地配置内存段的大小和缓冲区个数。针对第二种场景，我们推荐：使用默认值以获得最大吞吐减少内存段大小、独占缓冲区的数量来加快 checkpoint 并减少网络栈消耗的内存量。
flink状态，对象重用，触发器，数据覆盖相关问题
zhangyupeng0528的博客
04-03 1972
遇到的问题 对于以上代码，我们进行keyby之后，我们new 了对象，我们会以为里面所有的数据都是独一份，和别的key是隔离的。 所以利索当然的：这个类型对象的属性：ExitLessonCountMessage有classId，lessonId，studentId 我们也会认为是独一份和别的keyby之后的数据不重用。 当我们入下图我们在定时器触发的时候。用了classId，lessonId，studentId 一直不是自己想要的数据， 导致数据混乱，百思不得其解。 原因分析： 最后经
Flink原理、实战与性能优化.pdf
11-10
从上述内容可以看出，Flink不仅关注实时数据处理的高效性和准确性，也十分重视系统的容错能力、状态管理和性能优化。其强大的窗口操作能力和容错机制使得Flink在复杂的数据处理场景中具备了巨大的优势。Flink的实战...
Flink原理、实战与性能优化-高级进阶培训（小白请勿下载）
06-07
本高级进阶培训课程将深入讲解Flink的核心原理、实战应用和性能优化策略。 首先，课程会探讨Flink的核心设计思想，包括Dataflow计算模型与MapReduce模型的比较，以及Flink如何采用Chandy-Lamport分布式容错方案来...
flink实战--性能优化
阿华田的博客
11-18 1348
优化点一：序列化 对于分布式计算来讲，数据的传输效率非常重要。好的序列化框架可以通过较低的序列化时间和较低的内存占用大大提高计算效率和作业稳定性。在数据序列化上，Flink 和 Spark 采用了不同的方式；Spark 对于所有数据默认采用 Java 原生序列化方式，用户也可以配置使用 Kryo；而 Flink 则是自己实现了一套高效率的序列化方法。 序列化方式 ............
Flink大数据项目实战
01-18
本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。
flink理论干货笔记（3）
Nichkhun的博客
08-20 507
250.动态表是tableapi和sql支持流数据的核心概念。与表示批处理数据的静态表相比，动态表随时间变化。查询动态表会产生连续查询，连续查询永远不会终止，并生成动态表作为结果。查询不断更新（动态）结果表以反映其输入（动态）表的更改。对动态表的连续查询和物化视图的定义查询非常相似。
Flink实战(五) Batch（DataSet） 运算的相关概念
wuhulala的休息室
09-22 1341
文章目录1. 示例程序2. 转换函数3. 数据源配置CSV解析规则递归读取输入路径目录读取压缩文件4. 数据输出 （Sink）5. 迭代操作Bulk Iterations（**批量迭代**）Delta Iterations（**增量迭代**）在函数中操作数据对象Object-Reuse Disabled (DEFAULT)Object-Reuse EnabledDebuggingLocal Exe...
Flink事件时间处理和水印
hellojoy的博客
10-18 1378
Flink EventTime和Watermarks案例分析https://blog.csdn.net/xu470438000/article/details/83271123 最近找到这个对事件时间处理和水印说的比较好的文章，所以转载一下，供大家分享，原文连接：http://vishnuviswanath.com/flink_eventtime.html 本文用途纯粹是为了分享，如若有侵权，请...
优化Flink应用的4种方式
热门推荐
CSDN研发技术
10-24 1万+
原文：4 Ways to Optimize Your Flink Applications 作者：Ivan Mushketyk 翻译：Diwei 译者注：Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台。作者在本文介绍了一些如何优化Flink应用速度的方式。以下为译文。Flink框架非常复杂，并提供了许多方法来调整其执行方式。本文我将介绍提高Flink应用程
360深度实践：Flink与Storm协议级对比
weixin_42073629的博客
10-24 238
本文从数据传输和数据可靠性的角度出发，对比测试了Storm与Flink在流处理上的性能，并对测试结果进行分析，给出在使用Flink时提高性能的建议。 Apache Storm、Apache Spark和Apache Flink都是开源社区中非常活跃的分布式计算平台，在很多公司可能同时使用着其中两种甚至三种。对于实时计算来说，Storm与Flink的底层计算引擎是基于流的，本质上是一条一条的数据进行处理，且处理的模式是流水线模式，即所有的处理进程同时存在，数据在这些进程之间流动处理。而Spark是基于批
flink通过flinkcdc使用streamapi方式连接tidb
04-04
Apache Flink是一个分布式处理流式数据的开源框架，而TiDB是一个分布式SQL数据库。在Flink中使用FlinkCDC连接TiDB可以使用两种方式：使用FlinkCDC的Table API或使用FlinkCDC的Stream API。 使用FlinkCDC的Stream API连接TiDB的步骤如下： 1. 在TiDB中创建一个测试表并插入一些数据： ``` CREATE DATABASE test; USE test; CREATE TABLE user ( id INT PRIMARY KEY, name VARCHAR(20), age INT ); INSERT INTO user VALUES (1, 'Alice', 20), (2, 'Bob', 30); ``` 2. 在Flink中引入TiDB和FlinkCDC的相关依赖： ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.12</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-tidb_2.12</artifactId> <version>${flink.version}</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cdc-connectors_2.12</artifactId> <version>${flink.version}</version> </dependency> ``` 3. 编写Flink程序，使用FlinkCDC的Stream API连接TiDB： ``` import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.source.SourceFunction; import org.apache.flink.streaming.api.functions.source.SourceRecord; import org.apache.flink.streaming.api.functions.source.TimestampedSourceFunction; import org.apache.flink.streaming.connectors.tidb.TableId; import org.apache.flink.streaming.connectors.tidb.TiDBOptions; import org.apache.flink.streaming.connectors.tidb.TiDBSource; import org.apache.flink.streaming.connectors.tidb.TiDBTableSource; import org.apache.flink.types.Row; import java.util.Properties; public class TiDBStreamAPIExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); Properties properties = new Properties(); properties.setProperty(TiDBOptions.TIDB_ADDRESS.key(), "localhost:4000"); properties.setProperty(TiDBOptions.TIDB_PASSWORD.key(), ""); properties.setProperty(TiDBOptions.TIDB_USER.key(), "root"); TiDBTableSource tableSource = TiDBSource .builder() .setDatabaseName("test") .setTableName("user") .setProperties(properties) .build(); env.addSource(tableSource).print(); env.execute("TiDB Stream API Example"); } } ``` 4. 运行程序，可以看到从TiDB中读取到的数据： ``` 1,Alice,20 2,Bob,30 ``` 以上就是使用FlinkCDC的Stream API连接TiDB的步骤。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值