DataStream 类中包含了一个 Transformation 类型的对象,该 Transformation 对象实际保存了节点的转换信息,以 DataStream 的 map 方法为例:
public <R> SingleOutputStreamOperator<R> map(
MapFunction<T, R> mapper, TypeInformation<R> outputType) {
return transform("Map", outputType, new StreamMap<>(clean(mapper)));
}
该方法内部会调用 transform 方法:
public <R> SingleOutputStreamOperator<R>

本文深入探讨 Flink 中 Transformation 的实现,通过源码分析了解 Transformation 如何注册到 JobGraph,并讨论了 Transformation 的连接策略,包括 Forward、Shuffle、Broadcast 和 Custom Partitioning。同时,文章介绍了 KeyedBroadcastProcessFunction 和 OneInputOperator 两个抽象类及其具体实现,阐述了不同场景下的数据流处理策略。
最低0.47元/天 解锁文章
242

被折叠的 条评论
为什么被折叠?



