这篇博客详细介绍了Apache Flink的数据传输模式，包括一对一和重新分发模式，并探讨了keyBy、broadcast和rebalance等操作的影响。此外，文章还讨论了Flink的状态管理，特别是RocksDBStateBackend的优缺点，以及它如何支持增量快照和异步快照。最后，文章以B站和微博为例，解释了流式机器学习中样本生成的原理。
博主为了构建统一的flink学习笔记
https://ci.apache.org/projects/flink/flink-docs-release-1.13
https://ci.apache.org/projects/flink/flink-docs-release-1.12
Flink 算子之间可以通过一对一（直传）模式或重新分发模式传输数据：
一对一模式（例如上图中的 Source 和 map() 算子之间）可以保留元素的分区和顺序信息。这意味着 map() 算子的 subtask[1] 输入的数据以及其顺序与 Source 算子的 subtask[1] 输出的数据和顺序完全相同，
即同一分区的数据只会进入到下游算子的同一分区。
重新分发模式（例如上图中的 map() 和 keyBy/window 之间，以及 keyBy/window 和 Sink 之间）则会更改数据所在的流分区。当你在程序中选择使用不同的 transformat
最低0.47元/天 解锁文章
扫一扫
2877
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
