Flink之数据流类型

最新推荐文章于 2024-09-26 11:41:14 发布

叫我不矜持

最新推荐文章于 2024-09-26 11:41:14 发布

阅读量1.2k

点赞数

本文链接：https://blog.csdn.net/SmallCatBaby/article/details/93545596

版权

本文详细介绍了Flink的DataStream API中各种数据流类型，包括DataStream、KeyedStream、WindowedStream、JoinedStream、CoGroupedStreams和ConnectedStreams。通过转换和操作，这些数据流类型在Flink流处理中扮演了重要角色，如KeyedStream用于按key分组，WindowedStream实现了窗口操作， JoinedStream和CoGroupedStreams用于流的连接和组合，ConnectedStreams则允许不同类型的流连接并共享状态。

摘要由CSDN通过智能技术生成

Flink为流处理和批处理分别提供了DataStream API和DataSet API。在开发工作中这些API极大的便利了开发者开发大数据应用。DataStream 在经过Transformation之后，会随之生成相应的数据流类型。比如：KeyedStream，JoinedStreams，CoGroupedStreams等等。但这些数据流类型之间是如何通过转换联系在一起的？。下文☞☞☞☞☞

流之间转换

图1

DataStream

DataStream 是Flink 流处理API中最核心的数据结构。他代表了一个运行在多个分区上的并行流。一个DataStream可以从StreamExecutionEnvironment 通过env.addSource(SourceFunction)获得，可以但是不限于这一种方式。

DataStream上的转换操作都是逐条的，比如map(),flatMap(),filter()。DataStream 也可以执行rebalance(再平衡，用来减轻数据倾斜) 和broadcaseted(广播)等分区转换。

val stream: DataStream[MyType] = env.addSource(new FlinkKafkaConsumer011[String](...)).setParallelism(3)
val str1: DataStream[(String, MyType)] = stream.flatMap { ... }
val str2: DataStream[(String, MyType)] = stream.rebalance()
val str3: DataStream[AnotherType] = stream.map { ... }

上面给出的DataStream代码块在运行时会转换成如下执行图：