Flink 源码分析
文章平均质量分 94
Apache Flink是一个高性能的流式计算框架,支持实时数据处理和分析。它具有良好的容错性和可伸缩性,可以在大规模集群上运行。Flink提供了丰富的API和库,方便开发人员构建复杂的数据处理流程。同时,Flink支持多种数据源和数据格式,适用于处理各种实时数据流场景。
北_鱼
这个作者很懒,什么都没留下…
展开
-
Flink 拓扑图源码分析:拓扑图创建与提交过程
在Flink中,拓扑图提交过程是将用户编写的数据处理逻辑转换为实际可执行的作业并提交到集群运行的过程。首先,用户编写Flink程序,定义数据源、转换操作和输出目标等。然后,Flink会将这些操作转换为一个有向无环图(DAG),表示数据处理流程。接着,Flink会将DAG图优化并生成作业图,包括任务的划分和调度策略。最后,Flink会将生成的作业图提交给集群管理器,启动作业执行。整个过程涉及到作业图的生成、优化和提交,确保用户编写的程序能够高效地在集群上执行。原创 2024-03-20 13:01:31 · 1252 阅读 · 1 评论 -
Flink JobMaster 调度源码分析1:调度过程
在Flink中,调度是指将作业的任务分配到集群中的计算资源并管理任务的执行的过程。Flink的调度器负责根据作业的拓扑结构和资源需求,将任务分配给集群中的TaskManager节点,并监控任务的执行状态。调度器还负责任务的故障恢复和任务的重新调度,以确保作业的正确执行。Flink的调度器支持动态资源分配和任务优先级调度,可以根据作业的需求和集群的资源情况进行灵活的调度策略。通过高效的调度管理,Flink能够实现作业的高性能和高可靠性。原创 2024-03-20 13:03:50 · 778 阅读 · 1 评论 -
Flink JobMaster 调度源码分析2:Slot 分配策略
在Apache Flink中,Slot是用于执行并行任务的基本单位。Slot分配策略是指如何有效地将任务分配给可用的Slot,以最大化资源利用率和任务执行效率。原创 2024-03-22 14:49:25 · 1215 阅读 · 2 评论 -
Flink JobMaster 调度源码分析3:Physical Slot 分配过程
在Apache Flink中,Slot是用于执行并行任务的基本单位。Physical Slot分配策略是指如何有效地将任务分配给可用的Slot。原创 2024-05-16 16:39:59 · 703 阅读 · 0 评论 -
Flink 数据分区源码分析:分区策略
Flink 数据分区策略是用于将数据分发到不同的并行任务中的一种机制。它可以根据不同的需求和场景来选择合适的分区策略,以提高任务的并行度和性能。选择合适的数据分区策略可以帮助提高任务的并行度和整体性能。 Flink 提供了丰富的数据分区策略供用户选择,也支持自定义分区策略来满足特定的业务需求。原创 2024-01-03 17:49:35 · 530 阅读 · 1 评论 -
Flink window 源码分析1:窗口整体执行流程
flink 窗口源码分析原创 2023-12-20 20:26:03 · 1010 阅读 · 1 评论 -
Flink window 源码分析2:Window 的主要组件
分析了 Flink 的窗口(Window)的三个关键组件:WindowAssigner、Trigger、Evictors。对这三个组件进行了介绍,并分析了相关代码。原创 2023-12-20 20:36:29 · 452 阅读 · 1 评论 -
Flink window 源码分析3:WindowOperator
WindowOperator 是真正负责 Flink 窗口中元素存储和计算流程的核心类。原创 2023-12-20 20:38:26 · 1005 阅读 · 1 评论 -
Flink window 源码分析4:WindowState
Flink window 源码分析4:WindowState。根据源码,分析了一些WindowState相关的问题。原创 2024-01-02 14:03:22 · 1244 阅读 · 0 评论