本文深入探讨Flink执行引擎的数据交换对象BufferOrEvent，它封装了Buffer和Event，统一数据交换。Buffer作为数据载体，依赖内存段管理，采用引用计数进行回收。Flink的事件如检查点屏障、迭代屏障等，用于控制流处理过程。理解这些机制对于掌握Flink的运行原理至关重要。
2.统一的数据交换对象
在Flink的执行引擎中，流动的元素主要有两种：缓冲（Buffer）和事件（Event）。Buffer主要针对用户数据交换，而Event则用于一些特殊的控制标识。但在实现时，为了在通信层统一数据交换，Flink提供了数据交换对象——BufferOrEvent。它是一个既可以表示Buffer又可以表示Event的类。上层使用者只需调用isBuffer和isEvent方法即可判断当前收到的这条数据是Buffer还是Event。
3.缓冲
缓冲（Buffer）是数据交换的载体，几乎所有的数据（当然事件是特殊的）交换都需要经过Buffer。Buffer底层依赖于Flink自管理内存的内存段（MemorySegment）作为数据的容器。Buffer在内存段上做了一层封装，这一层封装是为了对基于引用计数的Buffer回收机制提供支持。
引用计数是计算机编程语言中的一种内存管理技术，是指将资源（可以是对象、内存或磁盘）的被引用次数保存起来，当被引用次数变为零时就将其释放的过程
订阅专栏 解锁全文
扫一扫
312
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
