Apache Flink 核心概念和原理

最新推荐文章于 2024-06-20 14:43:25 发布

search-lemon

最新推荐文章于 2024-06-20 14:43:25 发布

阅读量384

点赞数 1

分类专栏： Flink 文章标签： Flink

本文链接：https://blog.csdn.net/weixin_44056920/article/details/102813791

版权

15 篇文章 1 订阅

订阅专栏

需要每条数据都被计算在内，且需要精准的只有一次的语言。并且能够在很低的延迟下完成大量数据的计算，面对实际中各种可能的失败，也能保证稳定性和准确性。

Flink架构也遵循Master-slave架构设计原则。
在这里插入图片描述

Client
客户端Client负责将任务提交到集群，与JM构建Akka连接，然后将任务提交到JM，通过和JM交互获取任务状态。
JobManager
JobManager负责整个flink集群任务的调度以及资源管理，从客户端获取提交的应用，然后根据集群中TM中TaskSlot的使用情况，为提交的应用分配资源。整个集群中只有一个活跃的JM节点。TM和TM通过Actor System通信。
TaskManager
TM负责具体任务执行和对应任务在每个节点上资源的申请与管理。各TaskSlot之间共享系统资源。

在这里插入图片描述

在这里插入图片描述

处理时间 Processing Time
执行相应操作系统机器的系统时间（如sparkstreaming只支持处理时间）。Sparkstreaming只支持处理时间为处理顺序。
事件时间 Event Time
每个独立事件在它生产设备上产生的时间，如日志时间。
提取时间 Ingestion Time
指事件进入flink的时间。

告知operator后面不会再有小于水位线时间戳的事件接入，满足条件即可触发相应窗口计算。watermark为保证事件时间的机制。

有状态计算：flink程序内部存储计算产生的中间结果，并提供给后续使用。
状态可以维系在本地存储中，存储可以是堆内存，或者是堆外堆存，也可以借助第三方存储介质。如RocksDB。

keyed State, Operator State(Non-keyed State)
根据数据集是否根据key分区划分。
Operator state只和并行算子绑定，每个算子实例中持有所有数据元素的一部分数据。
Managed State, Raw State
根据使用flink原生状态管理或自定义生成state划分。
一种托管状态：由flink runtime控制管理状态，并将数据转存为内存hashtable或rocksDB存储，然后将这些状态通过内部接口持久化到checkpoints中，用于异常恢复。
另一种原生状态，由算子自己管理数据结构，触发checkpoint过程中，flink并不知道数据内部结构，只是将数据存储到checkpoints中。当从ck中恢复时，算子再反序列化出状态数据。

Checkpoints机制：异步轻量级分布式快照提供checkpoint容错机制。Flink通过barrier将间隔时间内设置的数据划分到相应checkpoint中，出现异常即从上次一快照中恢复所有算子状态，从而保证数据一致性。

参考文献
[1] 《Flink原理、实战与性能优化》，张力兵，机械工业出版社。

关注

专栏目录