【Flink】 collector 非常慢 一次尴尬的 排查错误方向 chain 与 不chain 的 区别

最新推荐文章于 2023-07-11 09:13:04 发布
最新推荐文章于 2023-07-11 09:13:04 发布
阅读量1k 收藏
点赞数 1
分类专栏： 大数据-flink 文章标签： flink collect 很慢 chain
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/117753112
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了在Flink任务中，由于误将操作不chain在一起导致的性能问题。作者通过测试发现，不chain的流程会涉及序列化、反序列化、资源申请和网络传输，造成较大开销。而当任务chain在一起时，消除了这些额外操作，性能显著提升。文章还提及了Flink的Object Reuse模式，并探讨了其对性能优化的影响。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

是这样的，我用arthas监控测试环境的flink任务，然后想看看任务那里慢了。

但是发现一个问题

请问我们使用row类型传递数据，flink的内置数据类型，为啥看起来这么耗时
在这里插入图片描述

有时候耗时就很厉害，这个是怎么回事 有办法优化吗？
在这里插入图片描述
后来一直没搞明白，然后今天突然就搞明白了。因为我闹了一个大乌龙。我把测试环境全部不chain在一起。

2. 不chain的流程

2.1 测试代码

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Object Reuse 模式（Stream API） 性能优化 chain 数据重用 不深拷贝、对象重用
九师兄
07-01 1791
昨天在界面上看到一句话，主管让加上去，于是我去查查这个参数有什么用在作业拓扑优化阶段，Flink 会尽可能将多个 Operator 合并为 Operator Chain 来减少 Task 数，因为 Subtask 内的 Operator 运行在同一个线程，不需要经过网络传输。
一、Flink简述
weixin_43857464的博客
12-03 428
Flink个人理解一、Flink简介1、Flink是什么功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一、Flink简介 1、Flink是什么 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown
flink批处理
weixin_43705952的博客
12-08 1390
### 4.1 State #### 4.1.1 state概述 **Apache Flink® — Stateful Computations over Data Streams** 回顾单词计数的例子 ~~~java /** * 单词计数 */ public class WordCount { public static void main(String[] args) throws Exception { StreamExecutionEnvironment e..
【Flink 源码系列】Flink Collector Output 接口源码解析
JasonLee实时计算
09-19 2038
0在 Flink 中 Collector 接口主要用于 operator 发送（输出）元素，Output 接口是对 Collector 接口的扩展，增加了发送 WaterMark 的功能，在 Flink 里面只要涉及到数据的传递都必须实现这两个接口，下面就来梳理一下这些接口的源码。Output Collector UML 图WatermarkGaugeExposingOutputCollector...
Flink的累加器和广播变量、广播流、分布式缓存
影子
03-26 1902
1、Accumulator累加器 Accumulator即累加器，与Mapreduce counter的应用场景差不多，都能很好地观察task在运行期间的数据变化。可以在Flink job任务中的算子函数中使用累加器，但是只能在任务执行结束后才能获得累加器的最终结果。Counter是一个具体的累加器（Accumulator）实现，常用的Counter有IntCounter，LongCounter和DoubleCounter。 用法： 1：创建累加器 private IntCo.
Flink Collector Output 接口源码解析
JasonLee实时计算
09-19 395
0在 Flink 中 Collector 接口主要用于 operator 发送（输出）元素，Output 接口是对 Collector 接口的扩展，增加了发送 WaterMark 的功能，在 Flink 里面只要涉及到数据的传递都必须实现这两个接口，下面就来梳理一下这些接口的源码。Output Collector UML 图WatermarkGaugeExposingOutputCollector...
Flink大数据量调优思路总结（一）
击水三千里的专栏
09-15 382
flink 性能优化，大家可以先实践后,发现瓶颈后再来阅读此文。根据实际情况调优，没有万能的法则
Flink
小道的博客
12-11 1878
Flink知识点
Flink 运维与调优
GavinKai
10-27 1251
1 资源配置调优 1.1 内存设置 1.2 并行度设置 1.2.1 最优并行度计算 1.2.2 Source 端并行度的配置 1.2.3 Transform端并行度的配置 1.2.4 Sink 端并行度的配置 1.3 RocksDB大状态调优 1.4 Checkpoint设置 1.5 使用 Flink ParameterTool 读取配置 1.5.1 读取运行参数 1.5.2 读取系统属性 1.5.3 读取配置文件 1.5.4 注册全局参数 1.6 压...
Fastir_Collector
05-25
FastIR收集器 我们将我们的方法改为实时取证，这意味着不再维护FastIR Collector。 我们建议改用我们的新 概念 该工具在实时Windows上收集不同的工件，并将结果记录在csv或json文件中。 通过对这些伪像的分析，可以发现较早的不适。 资料下载 二进制文件可以在该项目的中找到。 要求 pywin32 python WMI python psutil python yaml 构造 暴风雨3 十六进制转储 pytz 另外，在reqs.pip可以使用pip freeze输出。 编译中 要编译FastIR，您需要 。 只需在项目根目录下使用pyinstaller pyinstaller.spec 。 默认情况下，二进制文件位于/dist 。 重要提示：对于x64系统，请检查本地python安装是否也在x64中。 执行 ./fastIR_x64.exe -h寻求帮
flink常见的算子
最新发布
m0_47310235的博客
07-11 528
这个滑动窗口的意思是，在当前时间窗口内，每隔 5 秒钟计算最近 15 秒的数据，即每次计算最近 15 秒内的数据，计算完成后，窗口向右滑动 5 秒，开始计算最近 15 秒的数据，以此类推。在 reduce() 函数中，使用了一个匿名内部类实现 ReduceFunction 接口，其中的 reduce() 方法对输入元素进行聚合，将两个整数元素相加，并返回聚合结果。在 Flink 中，Filter 算子是一个数据流转换算子，用于过滤掉不符合条件的数据元素，并将满足条件的数据元素继续传递给下游算子进行处理。
【Flink】Flink的多流转换——分流、合流、双流联结
克里斯的博客
04-04 5800
多流转换可以分为“分流”和“合流”两大类。目前分流的操作一般是通过侧输出流（side output）来实现，而合流的算子比较丰富，根据不同的需求可以调用 union、connect、join 以及 coGroup 等接口进行连接合并操作。
Flink窗口聚合案例(增量聚合、全量聚合)
影子
03-28 4769
上面我们time window和count window讨论了聚合，下面我们从另外一个角度对window进行分类，从聚合角度。 window的集合操作分为2种：一种是增量聚合，一种时候全量聚合，增量聚合是指窗口内每进入一条数据就计算一次，而全量聚合是指在窗口被处罚的时候才会对窗口内的所有数据进行一次聚合 1、增量聚合：窗口内每进入一条数据就计算一次 常见的增量聚合的函数有：reduce（reduceFunction）、aggregate（aggregateFunction）、sum（）、mi..
大数据技术之flink（3）
啊晨
06-11 350
文章目录前言❤ღ( ´･ᴗ･` )比心 前言 你们好我是啊晨 今儿更新spark 技术Spark Streaming。 废话不多说，内容很多选择阅读，详细。 请： 第六章Flink 中的 Window 6.1 Window 6.1.1 Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是...
Flink入门到实战-阶段五(处理函数)
S1124654的博客
07-17 694
Flink入门到实战-阶段五(处理函数)
collect的功能是什么?其底层如何实现的?_ProcessFunction：Flink最底层API使用教程
weixin_39601088的博客
11-20 980
之前提到的一些算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或者是Watermark时间戳，调用起来简单但功能相对受限。如果想获取数据流中Watermark的时间戳，或者在时间上前后穿梭，需要使用ProcessFunction系列函数，它们是Flink体系中最底层的API，提供了对数据流更细粒度的操作权限。Flink SQL是基于这些函数实现的，一些需要高...
五分钟构建apache Flink
点点的博客
12-05 631
在本文中，我们将从零开始，教您如何构建第一个 Flink 应用程序。 开发环境准备 Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序，在本地机器上需要有 Java 8.x 和 maven 环境。 如果有 Java 8 环境，运行下面的命令会输出如下版本信息： $ java -version java version "1.8.0_...
flink任务优化总结
第一片心意的博客
10-15 2615
介绍对 flink 任务的各种性能优化总结。
Flink大数据高级教程：一线大厂实战解析与案例分享
"该资源是一线大厂级的Flink大数据高级编程与案例实操课程，包括Flink运行架构的实战内容。课程资料包括Java和Scala两种语言版本的笔记，Flink Java和Scala代码示例，以及相关的大数据工具和数据文件。提供了Flink ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值