Flink 作业启动耗时统计

已于 2022-09-15 13:20:07 修改
阅读量1k 收藏
点赞数
分类专栏： Apache Flink 原理和实践 文章标签： flink 大数据
于 2021-01-18 14:12:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuleidaren/article/details/112778694
版权
本文统计了Flink作业在Yarn上启动时，不同TaskManager槽位数量下的耗时情况。实验显示，即使在最理想情况下，启动时间也超过10秒，并且随着TaskManager数量增加，启动时间缓慢增长。测试环境受限，仅覆盖部分数据，同时指出TM和JM在单个Container中占用内存超过10GB。
摘要由CSDN通过智能技术生成

本次统计分为两行，第一行表示每个 TaskManager 含有 1 个 Slot，第二行表示每个 TaskManager 含有 5 个 Slot，分别统计在拉起不同 TM 数量的所需耗时，单位是秒。

统计方法为当 flink 作业被提交到 Yarn 上为开始时间（startTime），当作业初始化完毕相应的 TaskManager 个数为结束时间（在 flink web ui 上可见为准，endTime），耗时 duration = endTime - startTime。

在这里插入图片描述
通过表格可以发现，在 Flink Application 模式调度下最短时间也需要 10 秒以上，并随着所需要拉起 TM 个数的增加而缓慢增加，增长趋势较缓。

在这里插入图片描述
PS：因测试环境资源和配置问题有限，只测试部分数据
TM 和 JM 单个 Container 所占内存较多， 10 G 以上

wulei.cnvip
关注
专栏目录
订阅专栏
flink新版本bat启动文件.zip
12-11
本文将围绕“flink新版本bat启动文件.zip”这一主题，详细阐述Flink的启动过程，以及如何在新版本中解决bin目录下缺少bat启动文件的问题。 在Flink的早期版本中，通常会在`bin`目录下提供`.bat`文件，以供Windows...
Flink任务延迟高，想解决这个问题，你会如何入手？
gggSam的博客
09-22 2664
11. Flink任务延迟高，想解决这个问题，你会如何入手？ 在Flink的后台任务管理中，我们可以看到Flink的哪个算子和task出现了反压。最主要的手段是资源调优和算子调优。资源调优即是对作业中的Operator的并发数（parallelism）、CPU（core）、堆内存（heap_memory）等参数进行调优。作业参数调优包括：并行度的设置，State的设置，checkpoint的设置。 12. Flink是如何处理反压的？ Flink 内部是基于 producer-consumer 模型来进行消
Flink的API分层、架构与组件原理、并行度、任务执行计划
tszc95的博客
11-06 1649
Apache Flink的API分为四个层次，每个层次都提供不同的抽象和功能，以满足不同场景下的数据处理需求。Flink API 最底层的抽象为有状态实时流处理。其抽象实现是Process Function，并且Process Function被 框架集成到了DataStream API中来为我们使用。它允许用户在应用程序中自由地处理来自单流或多流的事件（数据），并提供具有全局一致性和容错保障的状态。
Flink流式计算之时间语义与watermark
不以物喜的博客
07-05 395
1 说明 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入Flink的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。 例如，一条日志进入Flink的时间为2017-11-12 10:0
Flink：配置基于yarn的JobManager 高可用
啥也不会的博客
09-13 1608
前言 JobManager 用于协调每个Flink任务的调度和资源管理。默认情况下，每个Flink集群只有一个JobManager实例。那么就意味着存在单点故障。如果JobManager崩溃，就不能提交新的任务，且运行中的任务也会失败。 JobManager 高可用可以在JobManager挂掉后，恢复JobManager，从而消除单点故障。 Flink独立部署和部署在Yarn上都可以使用JobManager高可用，生产环境中大多是部署在yarn上的。 基于Yarn的JobManager高可用任然只
Flink大数据实时计算系列-Flink的time介绍
段智华的博客
06-27 510
Flink大数据实时计算系列-Flink的time介绍 目录 Flink的time介绍Flink TumblingProcessingTimeWindows 案例Flink参考链接Flink系列博客 Flink的time介绍 Flink TumblingProcessingTimeWindows 案例 windowAll @PublicEvolving public <W extends Window> AllWindowedStream<T, W> wind
flink延时监控
hyy_blog
05-03 2091
流式计算中处理延迟是一个非常重要的监控metric flink中通过开启配置 metrics.latency.interval 来开启latency后就可以在metric中看到askManagerJobMetricGroup/operator_id/operator_subtask_index/latency指标了 如果每一条数据都打上时间监控 输出时间- 输入时间，会大量的消耗性能 ...
flume+kafka+flink+mysql数据统计
04-20
本文将深入探讨这些技术及其在"flume+kafka+flink+mysql数据统计"中的应用。 首先，Flume 是 Apache Hadoop 的一个子项目，主要用于收集、聚合和移动大量日志数据。在本场景中，Flume 可以从 Nginx 服务器收集 Web ...
Flink的standalone模式集群启动的流程及注意事项
01-20
1.进行相应的解压操作之后，对flink-conf.yaml、slaves文件进行配置 vi flink-conf.yaml 2. vi slaves来设置子节点 3.将主节点配置的文件复制到其他节点上scp -r /flink-1.9.2/ root@192.168.198.131:/yanxiaobo/...
huaweicloudDocs#dli#准备Flink作业数据1
07-25
申请DIS通道后，用户可以将本地数据通过DIS通道不断上传至DIS服务，实现向Flink作业提供实时流数据源，具体操作请参见《数据接入服务用户指南》中的“发送数
Flink以批处理方式统计文本中的单词数量
11-30
Flink以批处理方式统计文本中的单词数量
实时Flink大数据分析平台的数据流时间事件时间与处理时间
AI天才研究院
01-21 973
1.背景介绍 在大数据时代，实时数据处理和分析已经成为企业和组织中不可或缺的技术。Apache Flink是一个流处理框架，它可以处理大规模的实时数据流，并提供高性能、低延迟的数据处理能力。在Flink中，数据流时间(event time)和处理时间(processing time)是两个重要的概念，它们在数据处理过程中发挥着关键作用。本文将深入探讨Flink大数据分析平台中的数据流时间和事件时...
记一次 Flink 作业启动缓慢
卢说
02-20 741
应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。此前一直没有找到突破口所以没有管他，推测应该重启一下Hadoop集群就可以了。今天突然要重启一个Flink作业，发现有一个过程卡了五分钟。
Flink基础系列23-Sink之JDBC
只是甲的博客
10-28 6075
文章目录一.Sink之JDBC概述二.pom文件配置三.MySQL配置四.编写Java代码五.运行Flink程序查看数据参考: 一.Sink之JDBC概述 Flink的Sink支持的数据库: Bahir中支持的数据库: 从上两图可以看到，Flink的Sink并支持类似MySQL的这种关系型数据库，那么如果我需要通过Flink连接MySQL，该如何操作呢? 这个时候我们可以使用Flink Sink的JDBC连接。 二.pom文件配置 此处，我本地MySQL版本是 8.0.19 <!-- https:
记一次Flink 写Mysql优化
03-31 2718
需求： 统计每5分钟内的活跃用户数，并写入mysql，mysql数据结构如下图所示。 时间 活跃用户数 10:00 2 10:05 4 10:10 3 废话不多说，直接上sql select p_product, p_project, p_dt, SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5), count(distinct device_id)...
Spark Streaming与Flink Streaming速度对比
u010906369的专栏
06-24 1249
对比方法： 1、写入Kafka一个时间戳。 2、使用Spark 的 Structured Streaming 去消费，解析出时间戳，使用当前时间戳减去第一步里面的时间戳，输出耗时 3、同时使用Flink消费第一步的时间戳，使用当前时间戳减去这个时间戳，输出耗时。 4、结论：(1)、Structured Streaming 准实时处理，延时340毫秒左右。 ...
Flink Vs Storm性能测试
yuchuanchen的专栏
03-12 2349
吞吐和延时是实时流处理的两个重要指标，本次性能测试也围绕这两个指标进行。 测试环境 集群单个机器参数 测试集群共3个机器，每个机器配置如下： 参数项 参数值 CPU Intel® Xeon® CPU E5-2430 v2 @ 2.50GHz core 24 Memory 125G OS CentOS Linux release 7.2.1511 (Core) 网卡 ...
flink的三种时间机制
俞浩雄的博客
08-24 305
flink有三种时间机制。 时间生成时间（event time） 事件接入时间（ingestion time） 事件处理时间（processing time）
【Flink】Flink中的时间和窗口
qq_30885821的博客
03-22 2582
时间语义 涉及的3个时间： 1.事件真正发生的时间 2.进入Flink系统的时间（一般不关心） 3.Flink系统开始处理任务的时间 哪个时间语义更重要？ 事件时间更重要，Flink1.12开始时间语义默认是事件时间。 水位线 WaterMarker 水位线生成 方式一：来一条数据，附带一条水位线。如果数据很多很密集，就给系统平添很多压力。 方式二：周期性的产生一条水位线。如果数据很多很密集，这种方式不会增加太大的系统压力；如果数据很稀疏，虽然有时数据是空的，只是单纯的打一条水位线，但系统整体清闲，此时
yarn 单作业启动模式命令 flink
最新发布
08-04
YARN (Yet Another Resource Negotiator) 是一种资源管理系统，用于Hadoop生态系统，包括Apache Flink在内的分布式计算框架。在Flink中，单作业启动模式通常是指将整个作业打包成一个JAR文件，然后通过YARN提交运行。 在Flink中使用YARN单作业启动，你可以按照以下步骤操作： 1. 创建一个包含所有依赖的自定义JAR文件，这通常涉及到`./bin/flink run`命令，加上你的JobManager配置和作业代码。 示例命令： ``` $ bin/flink run -c your_job_class_name -m YarnSessionCluster --jar target/your-jar.jar --yarn-application-id your_application_id ``` 其中： - `-c your_job_class_name` 指定主类名，即包含Flink作业入口点的类。 - `-m YarnSessionCluster` 指定Flink集群模式为YARN Session Cluster（非持久化）。 - `--jar target/your-jar.jar` 提供你的自定义JAR路径。 - `--yarn-application-id` 设置YARN应用ID，它有助于跟踪作业。 2. 配置YARN环境变量，如`HADOOP_CONF_DIR`、`YARN_HOME`等，确保Flink可以正确连接到YARN。 3. 如果需要，还可以提供其他YARN选项，比如设置资源请求 (`--yarn-memory` 或 `--yarn-resource.memory`) 和容器的数量 (`--yarn-resources` 或 `--yarn-num-containers`)
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值