Flink 作业启动耗时统计

已于 2022-09-15 13:20:07 修改
阅读量934 收藏
点赞数
分类专栏： Apache Flink 原理和实践 文章标签： flink 大数据
于 2021-01-18 14:12:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuleidaren/article/details/112778694
版权

本次统计分为两行，第一行表示每个 TaskManager 含有 1 个 Slot，第二行表示每个 TaskManager 含有 5 个 Slot，分别统计在拉起不同 TM 数量的所需耗时，单位是秒。

统计方法为当 flink 作业被提交到 Yarn 上为开始时间（startTime），当作业初始化完毕相应的 TaskManager 个数为结束时间（在 flink web ui 上可见为准，endTime），耗时 duration = endTime - startTime。

在这里插入图片描述
通过表格可以发现，在 Flink Application 模式调度下最短时间也需要 10 秒以上，并随着所需要拉起 TM 个数的增加而缓慢增加，增长趋势较缓。

在这里插入图片描述
PS：因测试环境资源和配置问题有限，只测试部分数据
TM 和 JM 单个 Container 所占内存较多， 10 G 以上

wulei.cnvip
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
Flink大数据实时计算系列-Flink的time介绍
段智华的博客
06-27 429
Flink大数据实时计算系列-Flink的time介绍 目录 Flink的time介绍Flink TumblingProcessingTimeWindows 案例Flink参考链接Flink系列博客 Flink的time介绍 Flink TumblingProcessingTimeWindows 案例 windowAll @PublicEvolving public <W extends Window> AllWindowedStream<T, W> wind
flink新版本bat启动文件.zip
12-11
flink新版本bin目录无bat文件就把上面文件复制进去就好了
Flink使用RestApi
jeseva的博客
08-05 4968
flink是一个非常好用的流任务计算框架, 这次我们来试用flink的restApi来提交任务. 1, 上传jar包 public static boolean uploadJar( File jarFile) { RequestBody requestBody = new MultipartBody.Builder() .setType(MultipartBody.FORM) .addFormDataPart("fil
Flink的API分层、架构与组件原理、并行度、任务执行计划
最新发布
tszc95的博客
11-06 1256
Apache Flink的API分为四个层次，每个层次都提供不同的抽象和功能，以满足不同场景下的数据处理需求。Flink API 最底层的抽象为有状态实时流处理。其抽象实现是Process Function，并且Process Function被 框架集成到了DataStream API中来为我们使用。它允许用户在应用程序中自由地处理来自单流或多流的事件（数据），并提供具有全局一致性和容错保障的状态。
Flink：配置基于yarn的JobManager 高可用
啥也不会的博客
09-13 1513
前言 JobManager 用于协调每个Flink任务的调度和资源管理。默认情况下，每个Flink集群只有一个JobManager实例。那么就意味着存在单点故障。如果JobManager崩溃，就不能提交新的任务，且运行中的任务也会失败。 JobManager 高可用可以在JobManager挂掉后，恢复JobManager，从而消除单点故障。 Flink独立部署和部署在Yarn上都可以使用JobManager高可用，生产环境中大多是部署在yarn上的。 基于Yarn的JobManager高可用任然只
Flink流式计算之时间语义与watermark
不以物喜的博客
07-05 343
1 说明 在Flink的流式处理中，会涉及到时间的不同概念，如下图所示： Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳。 Ingestion Time：是数据进入Flink的时间。 Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing Time。 例如，一条日志进入Flink的时间为2017-11-12 10:0
flink延时监控
hyy_blog
05-03 2027
流式计算中处理延迟是一个非常重要的监控metric flink中通过开启配置 metrics.latency.interval 来开启latency后就可以在metric中看到askManagerJobMetricGroup/operator_id/operator_subtask_index/latency指标了 如果每一条数据都打上时间监控 输出时间- 输入时间，会大量的消耗性能 ...
记一次Flink 写Mysql优化
03-31 2558
需求： 统计每5分钟内的活跃用户数，并写入mysql，mysql数据结构如下图所示。 时间 活跃用户数 10:00 2 10:05 4 10:10 3 废话不多说，直接上sql select p_product, p_project, p_dt, SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5), count(distinct device_id)...
flume+kafka+flink+mysql数据统计
04-20
flume+kafka+flink+mysql实现nginx数据统计与分析
Flink的standalone模式集群启动的流程及注意事项
01-20
1.进行相应的解压操作之后，对flink-conf.yaml、slaves文件进行配置 vi flink-conf.yaml 2. vi slaves来设置子节点 3.将主节点配置的文件复制到其他节点上scp -r /flink-1.9.2/ [email protected]:/yanxiaobo/...
huaweicloudDocs#dli#准备Flink作业数据1
07-25
申请DIS通道后，用户可以将本地数据通过DIS通道不断上传至DIS服务，实现向Flink作业提供实时流数据源，具体操作请参见《数据接入服务用户指南》中的“发送数
flink-web：Apache Flink网站
02-05
该存储库包含Flink网站： : 。 您可以在以下位置找到此存储库的说明： : 。 在本地测试更改 您可以使用如下所示的Docker来构建网站（而无需增加主机环境）。 作为此调用的一部分传递的参数将转发到build.sh 。 # ...
flink问题记录
热门推荐
三石
07-30 1万+
在flink上跑一个算法的离线指标，报错如下。 Map (Map at com.wwdz.recsys.home.ItemFilterDay$.main(ItemFilterDay.scala:186)) -> Combine (GroupReduce at org.apache.flink.api.scala.GroupedDataSet.first(GroupedDataSet.scala:480)) (5/8) (96228117fa07e01079d3cba5f0dc742b) switche
Flink ROW_NUMBER()-排行榜和去重
三石
07-03 4277
flink官网链接：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sql/queries.html 该flink sql的函数主要有两个功能，TOP-N和Deduplication，测试如下 测试代码，并nc -lk 9999 package com.wwdz.bigdata.flink.streaming.source; import org.apache.flink.api.common.functions
Flink1.11 Application Mode Submit Job 通过 Java API 的方式提交作业到 Yarn （实时计算平台）
三石
12-04 3412
实时计算平台
FlinkKafkaProducer采用EXACTLY_ONCE异常
三石
08-12 3061
使用Flink提供的 FlinkKafkaProducer 写入kafka数据的时候，相同的代码相同的环境下，Semantic.AT_LEAST_ONCE 策略一切正常，但是当切换到 Semantic.EXACTLY_ONCE 时，flink作业异常如下： org.apache.kafka.common.KafkaException: Unexpected error in InitProducerIdResponse; The transaction timeout is larger than the
Flink-历史(批/离线)数据冷启动总结
三石
07-28 2804
在做用户画像标签时，很多实时指标都需要追溯历史数据，如用户截止此刻的订单数，需要将用户有史以来的所有订单数进行统计，而实时数据一般只能回溯7天。这种情况下就需要先将离线数据预先加载到sink端，或者将数据保存到Flink State中去。 如果离线数据的计算结果在mysql中，那么可以使用类似维表的方式直接进行Stream操作 加载离线写入State，实时作业以此restore 理论上是可以的，但是按照我上面的写法，代价比较大，因为我的作业中有subtask会处于Finished状态，导致不会触发ch.
Flink-跟着问题读源码：CheckPoint超时问题总结
三石
09-10 2317
最近一段时间处理的业务数据量的增长和处理流程的复杂性，导致flink实时作业不仅仅局限于结果正确，更多的精力放在了性能优化上，接下来对近期CheckPoint时长优化进行总结。 我们都知道checkpoint的重要性，整体过程如下： JobManager 向 Source 算子发送 Barrier ，初始化 Checkpoint，即JM向Source发起Trigger操作； 各个Source 算子一旦收到 Barrier 之后，开始Init自身的State，并同时向下游发送 Barrier； 下游算子收到
Flink-跟着问题读源码：从Savapoint重启报错The new state serializer cannot be incompatible
三石
07-17 2250
flink相比于其他流计算引擎的一个非常大的优势在于它灵活可靠的状态管理机制，定时的快照可以保证实时计算的连续性与准确性，但是当后续的计算逻辑发生一定程序的变化时，并不能完全保证从原状态完整的恢复。 文章主要分为三部分： 问题复现及源码分析 flink state ttl的设置和创建 flink checkpoint在taskmanager中对state的快照 1、问题概要 商品热度值的flink实时计算作业的chekcpoint state size越来越大，于是计划对一个月内无任何分享、出价、收.
flink run 启动参数
04-28
在使用Flink运行任务的时候，需要使用flink run命令来启动Flink集群并提交作业。flink run命令可以接受多个参数来控制Flink运行时的各项参数。以下是flink run启动参数的说明： 1. -c， --class：指定要执行的类名...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值