35.DataStream API之Experimental Features

flink 1.9

 

实验性的特性Experimental Features

本节描述DataStream API中的实验特性。实验特性仍在发展中，可能是不稳定的、不完整的，或者在未来的版本中可能发生重大变化。

 

Reinterpreting a pre-partitioned data stream as keyed stream将预分区数据流重新解释为键控流

我们可以将预分区的数据流重新解释为keyed流，以避免shuffling。

警告:重新解释的数据流必须已经预先分区，其方法必须与Flink的keyBy在随机shuffle分配w.r.t key-group时分区数据的方法完全相同。

这方面的一个用例可能是在两个工作之间的物化转移:第一个作业执行keyBy shuffle并将每个输出物化到一个分区中。对于每个并行实例，第二个作业具有从第一个作业创建的相应分区读取的sources 。这些来源现在可以重新解释为keyed streams，例如：窗口windowing应用案例。注意，这个技巧使第二个作业不易并行运行，这对于细粒度的恢复方案很有帮助。

此重新解释功能通过DataStreamUtils公开:

static <T, K> KeyedStream<T, K> reinterpretAsKeyedStream(
		DataStream<T> stream,
		KeySelector<T, K> keySelector,
		TypeInformation<K> typeInfo)

给定基流、key值选择器selector和类型信息，该方法将从基流创建一个 keyed stream。

代码实例

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<Integer> source = ...
        DataStreamUtils.reinterpretAsKeyedStream(source, (in) -> in, TypeInformation.of(Integer.class))
            .timeWindow(Time.seconds(1))
            .reduce((a, b) -> a + b)
            .addSink(new DiscardingSink<>());
        env.execute();

 

https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/experimental.html

https://flink.sojb.cn/dev/stream/experimental.html