Flink-Transform(转换算子)|Map|Reduce|Split和Select|Connect和CoMap|Union

最新推荐文章于 2023-07-27 14:36:09 发布

SmallScorpion

最新推荐文章于 2023-07-27 14:36:09 发布

阅读量525

点赞数

分类专栏： Flink模块化学习文章标签：大数据 stream flink

本文链接：https://blog.csdn.net/qq_40180229/article/details/106339941

版权

本文详细介绍了Apache Flink中的转换算子，包括map、flatMap、filter、keyBy、reduce、split、select、connect、coMap和union。通过实例展示了它们的功能和用法，如flatMap用于展开列表，keyBy进行逻辑分区，reduce进行聚合操作，split按条件拆分流，以及connect和union的区别。此外，还提供了代码GitHub链接供进一步学习。

摘要由CSDN通过智能技术生成

代码GitHub：https://github.com/SmallScorpion/flink-tutorial.git

map

在这里插入图片描述

val streamMap = stream.map {
    x => x * 2 }

在这里插入图片描述

flatMap

flatMap的函数签名：def flatMap[A,B](as: List[A])(f: A ⇒ List[B]): List[B]
例如: flatMap(List(1,2,3))(i ⇒ List(i,i))
结果是List(1,1,2,2,3,3),
而List(“a b”, “c d”).flatMap(line ⇒ line.split(" "))
结果是List(a, b, c, d)。

val streamFlatMap = stream.flatMap{
   
    x => x.split(" ")
}

Filter

val streamFilter = stream.filter{
   
    x => x == 1
}

在这里插入图片描述

KeyBy

在这里插入图片描述
DataStream → KeyedStream：逻辑地将一个流拆分成不相交的分区，每个分区包含具有相同key的元素，在内部以hash的形式实现的。
这些算子可以针对KeyedStream的每一个支流做聚合:

sum()
min()
max()
minBy()
maxBy()

// 取以ID为组最低的温度
    val keyByDStream: DataStream[SensorReading] = dataDstream.keyBy("id").minBy("temperature")

在这里插入图片描述

Reduce

KeyedStream → DataStream：一个分组数据流的聚合操作，合并当前的元素和上次聚合的结果，产生一个新的值，返回的流中包含每一次聚合的结果，而不是只返回最后一次聚合的最终结果。

 // 3. 复杂聚合操作，reduce，得到当前id最小的温度值，以及最新的时间戳+1
    val reduceStream: DataStream[SensorReading] = dataDstream
      .keyBy("id")
      .reduce( (curState, newData) =>
        // curState是之前数据 newData是现在数据
        SensorReading( curState.id, newData.timestamp + 1, curState