flink 批处理定时执行_Flink 源码分析系列之StreamTask

最新推荐文章于 2023-03-27 14:57:42 发布
最新推荐文章于 2023-03-27 14:57:42 发布
阅读量2k 收藏
点赞数
文章标签： flink 批处理定时执行
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_31430653/article/details/113072218
版权
本文深入分析了Flink的StreamTask，它是Flink作业执行的基础。StreamTask层级结构包括AbstractInvokable、StreamTask及其特定实现如SourceStreamTask、OneInputStreamTask和TwoInputStreamTask。在StreamTask的生命周期中，主要分为初始化、执行和资源释放三个阶段，涉及StreamOperator的初始化、状态管理以及异常处理。此外，StreamTask还实现了AsyncExceptionHandler接口，确保异步异常能够被主线程捕获，并利用lock对象保证数据一致性。
摘要由CSDN通过智能技术生成

点击上方蓝

字关注~

       

在前一篇StreamOperator源码简析中提到StreamOperator上层是由StreamTask调用，也就是说StreamTask会在发生不同阶段、不同动作去调用StreamOperator对应的方法，在Flink中将StreamTask称之为Invokable，这篇主要从源码角度分析一下StreamTask。

StreamTask层级结构

b0b2744b0d8ce8c5dd498715aaf71b52.png

AbstractInvokable ：是一个抽象类，代表最顶层的Invokable，在这个抽象类里面声明了最要的方法invoke，可以认为是task执行的起点，里面涉及的具体流程稍后会做分析；另外还声明了与checkpoint动作相关的方法triggerCheckpoint/triggerCheckpointOnBarrier/notifyCheckpointComplete;

StreamTask: 是AbstractInvokable的基本抽象实现类，其也是一个抽象类，实现了invoke、triggerCheckpoint等方法，另外声明了init、run等StreamTask声明周期的抽象方法，具体实现类有一下三个：

  • SourceStreamTask 代表源(StreamSource)的Invokable

  • OneInput

最低0.47元/天 解锁文章
苏瑾青
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【flink】Flink 1.12.2 源码浅析 : StreamTask 浅析
九师兄
08-07 602
1.概述 转载：Flink 1.12.2 源码浅析 : StreamTask 浅析 在Task类的doRun方法中, 首先会构建一个运行环境变量RuntimeEnvironment . 然后会调用loadAndInstantiateInvokable方法来加载&实例化task的可执行代码 . 可以看一下loadAndInstantiateInvokable 方法会根据传入的类加载器userCodeClassLoader.asClassLoader()、实例化类的名字nameOfInvokableC.
【flink】Flink 批作业的运行时自适应执行管控
九师兄
03-11 742
本文整理自阿里云高级技术专家朱翥（长耕），在 FFA 核心技术专场的分享。本篇内容是关于在过去的一年中，Apache Flink 对运行时的作业执行管控进行的一些改进。这些改进，让 Flink 可以更好的利用运行时的信息，来灵活的控制作业的执行，从而使得 Flink 批处理作业的执行可以更加的稳定、更有效率，并且更容易运维。详细内容主要分为两个部分：自适应执行计划同源实例的并行执行Tips：点击「阅读原文」查看原文视频&演讲 ppt我们先看一下，Flink 是如何描述作业的执行计划的。
StreamTask源码分析
张普的专栏
12-15 418
点击上方蓝字关注~ 在前一篇StreamOperator源码简析中提到StreamOperator上层是由StreamTask调用，也就是说StreamTask会在发生不同阶...
flink 批处理定时执行_Flink 提交任务 0474
weixin_34637293的博客
12-27 4686
Flink的源码体系比较庞大，一头扎进去，很容易一头雾水，不知道从哪部分代码看起。但是如果结合我们的业务开发，有针对性地去跟进源码去发现问题，理解源码里的执行细节，效果会更好。笔者在近期的Flink开发过程中，因为产品的原因，只允许部署Flink standalone模式，出于性能考虑，很有必要对其性能做下测试。Flink的standalone模式的部署方式很简单。只需要设定下基本的全局配置参数就...
Apache 流框架 Flink，Spark Streaming，Storm对比分析（二）
weixin_34320159的博客
04-27 1072
本文由网易云 发布本文内容接上一篇Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）2.Spark Streaming架构及特性分析2.1 基本架构基于是spark core的spark streaming架构。Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数...
linux 如何定时执行flink脚本
信徒博客
03-27 605
可以在vi /var/spool/mail/root 查询运行的日志，有无报错！最后一行，根据你自身情况更改！1、在/root/sh文件夹下面，创建一个脚本文件。输入crontab -e 进入定时任务编辑。这个是每天的11点52分，执行刚才写的脚本。每天凌晨的时候执行一次flink脚本。这个脚本不是长时间运行的。然后保存退出就可以了！到点执行以后，会出现。
flink批处理访问mysql_Flink批处理读取Hive写入MySql
weixin_39709178的博客
01-18 719
把hive 表stu77 的数据写入 mysql 表test_stu 中.中间可以加自己的逻辑.import org.apache.flink.table.api.EnvironmentSettings;import org.apache.flink.table.api.StatementSet;import org.apache.flink.table.api.Table;import org....
flink定时读取mysql数据_Flink批处理之读写Mysql
weixin_39550940的博客
02-06 1457
mysqlmysql-connector-java5.1.48org.apache.flinkflink-jdbc_2.121.8.02、建表CREATE TABLE `temp` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`time` varchar(255) DEFAULT NULL,`t...
flink写入 mysql_Flink批处理之读写Mysql
weixin_39972768的博客
12-19 532
1、添加Maven坐标mysqlmysql-connector-java5.1.48org.apache.flinkflink-jdbc_2.121.8.02、建表CREATE TABLE `temp` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`name` varchar(255) DEFAULT NULL,`time` varchar(255) DEFA...
Flink批处理入门
胜利的曙光的博客
02-19 2045
Flink批处理之DataSource、Transformation、Sink、广播变量、累加器、分布式缓存相关内容介绍。
定时执行任务例子 绝对好用
08-13
Timer schedule JAVA J2EE WEB 指定每一天某时某分执行某项任务的功能。 读取目录下配置文件的内容。 开发环境jdk1.5.0_22、MyEclipse6.5中文版。 定时任务管理器，定时执行，定时任务，run 绝对能用
flink任务调度器
06-20
很牛逼的任务器，可以管理flink的任务
java泛型生命周期_Flink源码之StreamTask及Java泛型类型擦除和Flink类型暗示
weixin_35948011的博客
02-26 239
本帖最后由 levycui 于 2020-8-11 17:53 编辑问题导读：1、StreamTask的层级结构如何理解？2、StreamTask生命周期的抽象方法如何实现？3、Java泛型类型擦除如何实现？4、Flink类型暗示如何理解？上一篇：Flink源码之StreamOperatorStreamTask在Flink源码之StreamOperator中已经说到StreamOperator上层...
Flink-Task启动源码
yangguanghaozi的专栏
12-20 1502
Flink Task 启动源码
Flink运行时之批处理程序生成计划
VinoYang的专栏
02-15 3557
批处理程序生成计划DataSet API所编写的批处理程序跟DataStream API所编写的流处理程序在生成作业图（JobGraph）之前的实现差别很大。流处理程序是生成流图（StreamGraph），而批处理程序是生成计划（Plan）并由优化器对其进行优化并生成优化后的计划（OptimizedPlan）。
Flink做一个批处理
Betty_May的博客
10-27 847
用Flink做出来的第一个程序 使用Flink做一个简单的Wordcount批处理 flink初学者，第一个Wordcount其实琢磨了很久很久，但是今天终于成功了，写下来供大家参考： 打开IDEA，创建一个maven项目 命名 首先配置以下依赖：pom.xml <dependencies> <dependency> <groupId>org.apache.flink</groupId> &l
Flink 定时加载数据源
不懂一休
03-11 5202
flink 自定义实时数据源使用流处理比较简单，比如 Kafka、MQ 等，如果使用 MySQL、redis 批处理也比较简单如果需要定时加载数据作为 flink 数据源使用流处理，比如定时从 mysql 或者 redis 获取一批数据，传入 flink 做处理，如下简单实现注意 flink 好多包从 1.15.0 开始不需要指定 Scala 版本，内部自带 下面 pom 文件有 flink 两个版本 1.16.0 和 1.12.7（Scala:2.12） 三、自定义数据源 使用 Timer 定时任务（当然
Flink 批作业的运行时自适应执行管控
Ververica的博客
01-10 195
摘要：本文整理自阿里云高级技术专家朱翥（长耕），在 FFA 核心技术专场的分享。本篇内容是关于在过去的一年中，Apache Flink 对运行时的作业执行管控进行的一些改进。这些改进，让 Flink 可以更好的利用运行时的信息，来灵活的控制作业的执行，从而使得 Flink 批处理作业的执行可以更加的稳定、更有效率，并且更容易运维。详细内容主要分为两个部分：自适应执行计划同源实例的并行执行Tips：...
Flink 任务调度源码分析4 （物理执行图（Task 的调度和执行））
m0_46449152的博客
02-11 477
物理执行图：JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的“图”，并不是一个具体的数据结构 它包含的主要抽象概念有： 1、Task：Execution被调度后在分配的 TaskManager 中启动对应的 Task。Task 包裹了具有用户执行逻辑的 operator。 2、ResultPartition：代表由一个Task的生成的数据，和ExecutionGraph中的IntermediateResultParti
flink批处理的BROADCAST_HASH_FIRST
最新发布
06-26
Flink的批处理（Batch Processing）中的`BROADCAST_HASH_FIRST`是一种数据分区策略，它通常用于广播（Broadcast）模式的数据交换。在这个模式下，一个数据源的数据会被复制到所有下游任务中，每个下游任务会接收到完整的数据集副本。 `BROADCAST_HASH_FIRST`意味着数据首先按照哈希函数被分布到各个任务，然后广播的数据会被进一步分割并根据任务组（Task Slots）进行本地排序。这样做的好处是： 1. **提高效率**：广播数据只需要一次传输，减少了网络开销，尤其是在数据量大的情况下。 2. **保证一致性**：由于每个任务都会接收到完整的数据副本，即使数据分区过程是随机的，也可以保证所有任务对同一键（如果有key-by操作）的数据有相同的处理顺序。 3. **适合键值对操作**：适用于那些需要基于键进行全局操作（如聚合）的任务，因为每个任务都有完整的键值对数据。 然而，`BROADCAST_HASH_FIRST`也有其局限性，比如当任务数量过多或数据过大时，可能会导致内存消耗大。因此，在使用这个策略时，需要根据具体的应用场景和资源情况来权衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值