如何生成 Flink 作业的交互式火焰图？

已于 2022-05-12 10:18:19 修改
阅读量580 收藏
点赞数
分类专栏： 大数据实时计算引擎 Flink 实战与性能优化 文章标签： java linux 大数据 jvm flink
于 2020-10-06 19:31:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tzs_1041218129/article/details/108945677
版权
本文介绍了如何使用jvm-profiler和FlameGraph生成Flink作业的交互式火焰图，以帮助分析性能瓶颈。通过在TaskManager中注入Java agent，收集打点数据，最终生成SVG图片进行性能分析。
摘要由CSDN通过智能技术生成

 

点击上方 "zhisheng"关注, 星标或置顶一起成长

Flink 从入门到精通 系列文章

前言

Flink 是目前最流行的大数据及流式计算框架之一，用户可以使用 Java/Scala/Python  的DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用，通过内部的 Java JIT、off-heap 内存管理等技术优化性能，并且有完整的 Source、Sink、WebUI、Metrics 等功能集成，让 Flink 几乎成为了流式计算的事实标准。

但是当处理海量数据的时候，很容易出现各种异常和性能瓶颈，这时我们需要优化系统性能时，常常需要分析程序运行行为和性能瓶颈。Profiling 技术是一种在应用运行时收集程序相关信息的动态分析手段，常用的 JVM Profil

了解本专栏 订阅专栏 解锁全文
【Flink】如何生成 Flink 作业的交互式火焰图？
九师兄
08-02 534
火焰图是《性能之巅》作者以及 DTrace 等一系列 Linux 系统优化工具作者 Brendan Gregg 大神的作品之一，可以非常清晰地展示应用程序的函数调用栈以及函数调用时间占比，基本原理是通过各种 agent 在程序运行时采样并输出日志，使用 FlameGraph 工具把日志提取出来输出可在浏览器交互式查看的 SVG 图片。
flink实战-- flink任务的火焰图如何使用
最新发布
阿华田的博客
11-05 422
x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。如果某个方法调用在其中一个并行任务中占用了100%的资源，但在其他任务中没有占用，则可能会被平均化而掩盖住瓶颈。选择一个对应的子任务，您可以看到相应子任务的火焰图。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。混合模式的火焰图是由处于所有可能状态的线程的堆栈跟踪构建而成。级别上进行的， 即该算子的所有。
生成 Flink 作业的交互式火焰图
ByteHackerX的博客
08-28 116
在我们的 Flink 作业中添加了性能分析配置并编写了作业代码后，我们可以使用火焰图生成工具来生成交互式火焰图。连接到运行中的 Flink 作业：在 JMC 中，选择 “File” -> “Connect”，然后选择正在运行 Flink 作业的主机和端口。连接到运行中的 Flink 作业：在 JMC 中，选择 “File” -> “Connect”，然后选择正在运行 Flink 作业的主机和端口。运行作业：在 JMC 中，点击 “Run” 按钮，生成 Flink 作业的交互式火焰图。
flink13新功能之火焰图
u011250186的博客
05-23 439
flink13新功能之火焰图
Flink 火焰图
weixin_45626756的博客
08-13 2258
Flink 作业动态参数里增加配置：“rest.flamegraph.enabled”: “true” 并重启作业。当前该功能没有默认开启，因为这个功能使用时对性能有少量损耗，特别是对于并行度比较大的作业。第五步 在 Flink WebUI JM/TM 的 Log List 页面中找到火焰图文件并下载。第二步： 在 Web UI 上选中想要探查的算子，打开 FlameGraph 面板。第四步：将火焰图文件移动至 Flink 日志目录下。Flink 自己也支持了 Task 粒度的。第一步：配置启用功能。
flink火焰图
u011624157的专栏
08-03 1120
火焰图是一个可视化的，有效地表示如下问题的答案，如: 哪些方法目前正在消耗CPU资源? 一种方法的消费与其他方法相比如何? 堆栈上的哪一系列调用导致执行一个特定的方法? 火焰图是通过多次采样stack trace来生成的。每个方法调用都由一个条形图表示，条形图的长度与它在样本中出现的次数成正比。 从Flink 1.13开始，Flink本身就支持Flame Graphs。为了生成一个火焰图，导航到一个正在运行的作业的作业图，选择一个感兴趣的operator，在菜单中右键单击火焰图选项卡: 任何测量过
java 性能 火焰图_性能调优工具-火焰图
weixin_42339061的博客
02-25 827
性能调优工具-火焰图发布时间：2019-07-17 19:29,浏览次数：402前言工具的进化一直是人类生产力进步的标志，合理使用工具能大大提高我们的工作效率，遇到问题时，合理使用工具更能加快问题排查的进度。这也是我为什么非常喜欢shell 的原因，它丰富的命令行工具集加管道特性处理起文本数据集来真的精准而优雅，让人迷醉。但很多时候文本的表现力非常有限，可以说匮乏，表达绝对值时，自然是无往不利，但...
FLink中火焰图的说明
Rocky
04-21 1573
rrest.flamegraph.delay-between-samples 默认值：50 ms 说明：构建 FlameGraph 的单个堆栈跟踪样本之间的延迟。火焰图主要是用来跟踪堆栈线程重复多次采样而生成的，每个方法的调用表示为一个长方形，长方形的长度和在采样中出现的次数成正比。x轴： 表示的是抽样数，如果一个函数在x轴占据的函数宽度越宽，表示该函数在抽样到的次数就是越多，既是执行时间长。ON-CPU：基于线程在CPu上执行消耗的时间采样，查看线程在CPu上花费的时间，
flink1.13新特性之火焰图
启迪思维，精进技术
07-07 3700
一、flink最新版本1.13 特性 火焰图 1.开启火焰图配置 rest.flamegraph.enabled : true 2.效果
FlameGraph火焰图
07-15
FlameGraph火焰图，结合使用perf分析性能问题！
浅谈Flink分布式运行时和数据流图的并行化
01-07
本文将以WordCount的案例为主线，主要介绍Flink的设计和运行原理。关于Flink WordCount程序可以参考我之前的文章：读取Kafka实时数据流，实现Flink WordCount。阅读完本文后，读者可以对Flink的分布式运行时有一个全面的认识。 1 Flink数据流图简介 1.1 Flink作业的逻辑视图 在大数据领域，词频统计（WordCount）程序就像是一个编程语言的HelloWorld程序，它展示了一个大数据引擎的基本规范。麻雀虽小，五脏俱全，从这个样例中，我们可以一窥Flink设计和运行原理。 图 1 Flink样例程序示意图 如图 1所示，程序分为
Flink 核心组件 内部原理 多图剖析
天道酬勤
12-19 802
一、Flink 整体架构 Flink 集群整体遵循 Master ，Worker 这样的架构模式。 JobManager 是管理节点，有以下几个职责： 接受 application，包含 StreamGraph（DAG），JobGraph（优化过的）和 JAR，将 JobGraph 转换为 Execution Graph 申请资源，调度任务，执行任务，保存作业的元数据，如Checkpoint 协调各个 Task 的 Checkpoint； TaskManager 是工作节点，负责数据交换，跑多个线程的
通过 Flink 的火焰图定位反压
goTsHgo的博客
09-23 1348
在 Apache Flink 中，Web UI 提供了丰富的监控工具来帮助用户分析和解决作业性能问题，其中火焰图（Flame Graph）是用于分析反压问题的一个强有力的工具。通过 Flink 的火焰图，你可以清晰地了解作业中各个算子的 CPU 时间分布，进而发现处理速度慢的地方。火焰图不仅能够帮助定位 CPU 的消耗，还能够通过 CPU 负载的分布，帮助你理解反压传播的路径。通过这些数据，你可以找到性能异常的算子或任务，并结合火焰图分析这些任务的 CPU 使用情况，确定性能瓶颈。
火焰图分析Flink反压
csdn问鼎
07-23 2275
火焰图分析flink 反压
Flink 基本工作原理
大数据记录
10-14 1901
         Flink是新的stream计算引擎，用java实现。既可以处理stream data也可以处理batch data，可以同时兼顾Spark以及Spark streaming的功能，与Spark不同的是，Flink本质上只有stream的概念，batch被认为是special stream。Flink在运行中主要有三个组件组成，JobClient，JobManager 和 TaskManager。主要工作原理如
flink运行原理_Flink原理与实现：如何生成ExecutionGraph及物理执行图-阿里云开发者社区...
weixin_33109551的博客
12-30 271
阅读本文之前，请先阅读Flink原理与实现系列前面的几篇文章 ：ExecutionGraph生成过程StreamGraph和JobGraph都是在client生成的，这篇文章将描述如何生成ExecutionGraph以及物理执行图。同时会讲解一个作业提交后如何被调度和执行。client生成JobGraph之后，就通过submitJob提交至JobMaster。在其构造函数中，会生成Executio...
flink基本原理入门
鸭梨的博客
01-13 398
Flink 的核心计算架构是下图中的 Flink Runtime 执行引擎，它是一个分布式系统，能够接受数据流程序并在一台或多台机器上以容错方式执行。 Flink Runtime 执行引擎可以作为 YARN（Yet Another Resource Negotiator）的应用程序在集群上运行，也可以在 Mesos 集群上运行，还可以在单机上运行（这对于调试 Flink 应用程序来说非常有用）。 上图为 Flink 技术栈的核心组成部分，值得一提的是，Flink 分别提供了面向流式处理的接口（DataSt
flink1.16火焰图
11-11
在Flink1.16中，引入了火焰图作为性能分析工具的一部分，用于分析Flink作业的执行过程。通过收集程序的栈帧信息和执行时间，绘制出火焰图，可以对Flink作业的执行过程进行更深入的理解和优化。 要使用Flink1.16火焰...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhisheng_blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值