本文介绍了 Flink 中的 `union` 算子,用于合并数据流并行处理。当一个流与自身 union 时,每个记录会被输出两次。该操作遵循 FIFO 原则且不消除重复。通过示例展示了如何合并两个数据流,并简要探讨了源码实现,指出 union 不对应 StreamOperator,而是通过 UnionTransformation 实现。
摘要由CSDN通过智能技术生成
1.世界
2. 概述
union 用于将两个或多个相同 type 的数据流结合在一起,这样就可以并行地组合数据流。如果我们将一个流与自身组合,那么它会输出每个记录两次.
在DataStream上使用union算子可以合并多个同类型的数据流,并生成同类型的数据流,即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出(First In First Out)的模式合并,且不去重。下图union对白色和深色两个数据流进行合并,生成一个数据流。
1.世界2. 概述union 用于将两个或多个相同 type 的数据流结合在一起,这样就可以并行地组合数据流。如果我们将一个流与自身组合,那么它会输出每个记录两次.在DataStream上使用union算子可以合并多个同类型的数据流,并生成同类型的数据流,即可以将多个DataStream[T]合并为一个新的DataStream[T]。数据将按照先进先出(First In First Out...