Flink
文章平均质量分 83
@Peanut
这个作者很懒,什么都没留下…
展开
-
「Flink反压机制」看这一篇就够了
从tcp数据传输,滑动窗口,再到Flink反压机制,一文看懂Flink反压转载 2023-07-16 20:27:18 · 1057 阅读 · 0 评论 -
Flink在代码中配置checkpoint
def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment // 设置statebackend,默认保存在内存中;可以设置保存到本地或者HDFS env.setStateBackend(new FsStateBackend("localPath | hdfsPATH原创 2021-04-29 21:29:32 · 1789 阅读 · 0 评论 -
详解Flink的checkpoint工作原理
要了解flink的checkpoint,首先来了解一下flink的状态管理机制,在flink当中,checkpoint的保存由状态管理机制来决定flink状态管理机制状态后端:每传入一条数据,有状态的算子任务都会读取和更新状态由于有效的状态访问对于处理数据的低延迟至关重要,因此每个并行任务都会在本地维护其状态,以确保快速的状态访问状态的存储、访问以及维护,由一个可插入的组件决定,这个组件就叫做状态后端(state backend)状态后端主要负责两件事:本地的状态管理将检查点(check原创 2021-04-29 20:17:11 · 3907 阅读 · 0 评论 -
Flink的架构以及任务调度流程
flink架构体系JobManager处理器也称之为Master,用于协调分布式执行,它们用来调度task,协调检查点(CheckPoint),协调失败时恢复等。负责资源申请,任务分发,任务调度执行,checkpoint的协调执行;Flink运行时至少存在一个master处理器,如果配置高可用模式则会存在多个master处理器,它们其中有一个是leader,而其他的都是standby。TaskManager处理器也称之为Worker,用于执行一个dataflow的task(或原创 2021-04-29 18:23:59 · 2654 阅读 · 0 评论