Flink
文章平均质量分 91
DFZR-ZXHY
这个作者很懒,什么都没留下…
展开
-
Flink中的Window
Flink中的Window 1 概述: streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,无限数据集是指一种不断增长的本质上无限的数据集,而window是一种切割无限数据为有限块进行处理的手段。 Window是无限数据流处理的核心,Window将一个无限的stream拆分成有限大小的“buckets”桶,我们可以在这些桶上做计算操作。 2 Window类型 Window可以分成两类: ① CountWindow:按照指定的数据条数生成一个Window,与时间无关。 ② TimeWin原创 2021-03-03 23:59:47 · 198 阅读 · 1 评论 -
Flink运行架构最新详解
Flink运行架构 Flink运行时的组件 Flink运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作: 作业管理器(JobManager) 资源管理器(ResourceManager) 任务管理器(TaskManager) 分发器(Dispatcher) 因为Flink是用Java和Scala实现的,所以所有组件都会运行在Java虚拟机上。每个组件的职责如下: JobManager 控制一个应用程序执行的主进程,也就是说,每个应用程序都会被各自的JobManager所控制执行。 ①原创 2021-01-13 16:28:46 · 319 阅读 · 0 评论