![](https://img-blog.csdnimg.cn/87b0fbc523e64b88a81b1a826f848709.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Apache Flink
文章平均质量分 71
Apache Flink
lucklilili
这个作者很懒,什么都没留下…
展开
-
Flink 水位线结合窗口进行KeyBy、Reduce案例
Flink 水位线结合窗口进行KeyBy、Reduce案例原创 2023-03-07 15:59:49 · 506 阅读 · 0 评论 -
Apache Flink 任务 Tasks 和任务槽 Task Slots
Flink中每一个worker(也就是TaskManager)都是一个JVM进程,它可以启动多个独立的线程,来并行执行多个子任务(subtask)。为了控制并发量,我们需要在TaskManager上对每个任务运行所占用的资源做出明确的划分,这就是所谓的任务槽(task slots)。每个任务槽(task slot)其实表示了TaskManager拥有计算资源的一个固定大小的子集。这些资源就是用来独立执行一个子任务的。原创 2022-12-23 17:15:53 · 1396 阅读 · 0 评论 -
Apache Flink 作业图 JobGraph 与执行图 ExecutionGraph
由Flink程序直接映射成的数据流图(dataflow graph),也被称为逻辑流图(logicalStreamGraph)。到具体执行环节时,Flink需要进一步将逻辑流图进行解析,转换为物理执行图。原创 2022-12-23 17:07:54 · 1172 阅读 · 0 评论 -
Apache Flink 算子链 Operator Chain
算子链会把转换处理的很多个任务都连接在一起,合并成了一个“大任务”。我们先来考察一下算子任务之间数据传输的方式。一个数据流在算子之间传输数据的形式可以是一对一(one-to-one)的直40通(forwarding)模式,也可以是打乱的重分区(redistributing)模式,具体是哪一种形式,取决于算子的种类。原创 2022-12-23 17:02:16 · 404 阅读 · 0 评论 -
Apache Flink 并行度 Parallelism
把一个算子操作,“复制”多份到多个节点,数据来了之后就可以到其中任意一个执行。这样一来,一个算子操作就被拆分成了多个并行的“子任务”(subtasks),再将它们分发到不同节点,就真正实现了并行计算。在Flink执行过程中,每一个算子(operator)可以包含一个或多个子任务(operator subtask),这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。原创 2022-12-23 16:51:55 · 557 阅读 · 0 评论 -
Apache Flink Dataflow Graph
Flink是流式计算框架。它的程序结构,其实就是定义了一连串的处理操作,每一个数据输入之后都会依次调用每一步计算。在Flink代码中,我们定义的每一个处理转换操作都叫作“算子”(Operator)。原创 2022-12-23 16:45:39 · 174 阅读 · 0 评论 -
Apache Flink 作业提交流程
Flink的提交流程,随着部署模式、资源管理平台的不同,会有不同的变化。首先我们从一个高层级的视角,来做一下抽象提炼,看一看作业提交时宏观上各组件是怎样交互协作的。原创 2022-12-23 11:01:21 · 194 阅读 · 0 评论 -
Apache Flink 系统架构
Flink 的运行时架构中,最重要的就是两大组件:作业管理器(JobManger)和任务管理器(TaskManager)。对于一个提交执行的作业, JobManager 是真正意义上的“管理者”(Master),负责管理调度,所以在不考虑高可用的情况下只能有一个;而 TaskManager 是“工作者”(Worker、Slave),负责执行任务处理数据,所以可以有一个或多个。Flink 的作业提交和任务处理时的系统。原创 2022-12-23 10:16:13 · 89 阅读 · 0 评论 -
Apache Flink 部署模式
在一些应用场景中,对于集群资源分配和占用的方式,可能会有特定的需求。Flink为各种场景提供了不同的部署模式。原创 2022-12-22 17:02:07 · 664 阅读 · 0 评论 -
Apache Flink
ApacheFlink起源于一个叫作Stratosphere的项目,它是由3所地处柏林的大学和欧洲其他一些大学共同进行的研究项目,由柏林工业大学的教授沃克尔·马尔科(Volker Markl)领衔开发。2014年4月,Stratosphere的代码被复制并捐赠给了Apache软件基金会,Flink就是在此基础上被重新设计出来的。原创 2022-12-20 17:03:58 · 512 阅读 · 0 评论