超级会员免费看
本文详细探讨了Flink的运行架构，包括Client、Dispatcher、JobManager、ResourceManager和TaskManager的角色，以及Task、Operator和Slot的概念。此外，还讲解了Flink中的时间语义，如Processing Time、Event Time和Ingestion Time，以及Window机制和Watermark在处理延迟数据中的作用。最后讨论了延迟数据的处理策略，如Allowed Lateness和Side Output。
七年前如果提起实时流式计算，老程序猿们想到的应该是 Storm，四年前再提到，大家脱口而出的会是 Spark Streaming，现在再说到实时计算那无疑都会指向 Flink 了。可见开源世界技术的迭代是飞速的，稍不留神就落伍了。
言归正传，上一篇我们讲了 SparkStreaming 和简单地介绍了衍生的 StructedStreaming，也提到了 StructedStreaming 在很多概念和设计理念上都是和 Flink 相似的，The Dataflow Model 是一篇非常经典的 Paper，建议学习流式计算的小伙伴都可以好好地读这篇论文。
本篇面试内容划重点：各种角色和概念，Time、Window、WaterMark。
Flink 运行架构详解
Flink 集群运行的各个组件：
- 在 Client 端，Flink 会根据开发者写的程序代码构建作业图（JobGraph），逻辑数据流图（logical dataflow graph），然后将任务提交给 Dispatcher 进行下一步执行。<
订阅专栏 解锁全文
扫一扫
2775
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
