Flink流式计算之windows介绍与说明

最新推荐文章于 2024-02-26 21:46:25 发布

不以物喜2020

最新推荐文章于 2024-02-26 21:46:25 发布

阅读量260

点赞数

分类专栏： Spark/Flink 文章标签： flink sacla 大数据流式计算 windows

原文链接：https://blog.csdn.net/DFZR_ZXHY/article/details/114341214

版权

Spark/Flink 专栏收录该内容

15 篇文章 1 订阅

订阅专栏

1 介绍

streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。
Window可以分成两类：
 CountWindow：按照指定的数据条数生成一个Window，与时间无关。
 TimeWindow：按照时间生成Window。
对于TimeWindow，可以根据窗口实现原理的不同分成三类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（Session Window）。
滚动窗口（Tumbling Windows）
将数据依据固定的窗口长度对数据进行切片。
特点：时间对齐，窗口长度固定，没有重叠。
在这里插入图片描述
滑动窗口（Sliding Windows）
滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。
特点：时间对齐，窗口长度固定，可以有重叠。

会话窗口（Session Windows）
由一系列事件组合一个指定时间长度的timeout间隙组成，类似于web应用的session，也就是一段时间没有接收到新数据就会生成新的窗口。
特点：时间无对齐
在这里插入图片描述

2 时间窗口

TimeWindow是将指定时间范围内的所有数据组成一个window，一次对一个window里面的所有数据进行计算。

2.1 滚动时间窗口

Flink默认的时间窗口根据Processing Time 进行窗口的划分，将Flink获取到的数据根据进入Flink的时间划分到不同的窗口中。

2.2 demo

import com.chen.flink.part01.SensorReading
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time

object TimeWindowdemo {
  def main(args: Array[String]): Unit = {

    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val dataStream: DataStream[String] = env.socketTextStream("192.168.199.101", 7777)
    val sensorStream: DataStream[SensorReading] = dataStream.map(
      data => {
        val strings = data.split(",")
        SensorReading(strings(0), strings(1).toLong, strings(2).toDouble)
      }
    )

    val resultStream: DataStream[(String, Double)] = sensorStream.map(x => (x.id, x.temperature)).keyBy(0).timeWindow(Time.seconds(15))
      .reduce((r1, r2) => (r1._1, r1._2.min(r2._2)))

    resultStream.print().setParallelism(1)
    env.execute("timewindow")
  }
}

输出结果，在15秒窗口内会根据id分组并得到最小的温度值

在这里插入图片描述

2.3 滑动窗口

滑动窗口和滚动窗口的函数名是完全一致的，只是在传参数时需要传入两个参数，一个是window_size，一个是sliding_size。

//滑动窗口
val resultStream: DataStream[(String, Double)] = sensorStream.map(x => (x.id, x.temperature)).keyBy(0)
  .timeWindow(Time.seconds(15), Time.seconds(5))
  .reduce((r1, r2) => (r1._1, r1._2.min(r2._2)))

输出结果：
在这里插入图片描述

3 计数窗口

CountWindow根据窗口中相同key元素的数量来触发执行，执行时只计算元素数量达到窗口大小的key对应的结果。
注意：CountWindow的window_size指的是相同Key的元素的个数，不是输入的所有元素的总数。

3.1滚动窗口

默认的CountWindow是一个滚动窗口，只需要指定窗口大小即可，当元素数量达到窗口大小时，就会触发窗口的执行

import com.chen.flink.part01.SensorReading
import org.apache.flink.streaming.api.scala._
object CountWindowDemo {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    val dataStream: DataStream[String] = env.socketTextStream("192.168.199.101", 7777)
    val sensorStream: DataStream[SensorReading] = dataStream.map(
      data => {
        val strings = data.split(",")
        SensorReading(strings(0), strings(1).toLong, strings(2).toDouble)
      }
    )

    //滚动计数窗口
    val resultStream: DataStream[(String, Double)] = sensorStream.map(x => (x.id, x.temperature)).keyBy(0)
      .countWindow(5).reduce((r1, r2) => (r1._1, r1._2.max(r2._2)))  
    resultStream.print("countwindow").setParallelism(1)
    env.execute("countwindow")
  }
}

输出结果，当输入数据内容达到5条时才会输出结果
在这里插入图片描述
再输入3条sensor_6的数据，可以看到相应的输出

3.2滑动窗口

滑动窗口和滚动窗口的函数名是完全一致的，只是在传参数时需要传入两个参数，一个是window_size，一个是sliding_size。
下面代码中的sliding_size设置为了2，也就是说，每收到两个相同key的数据就计算一次，每一次计算的window范围是10个元素。
当输入两个senor_1数据时，既有输出数据产生
在这里插入图片描述
再次输入两个senor_1数据时，会继续得到输出，此时的输出是比较之前所有(即4个sensor_1的输入)

4 window function

window function 定义了要对窗口中收集的数据做的计算操作，主要可以分为两类：
 增量聚合函数（incremental aggregation functions）
每条数据到来就进行计算，保持一个简单的状态。典型的增量聚合函数有ReduceFunction, AggregateFunction。
 全窗口函数（full window functions）
先把窗口所有数据收集起来，等到计算的时候会遍历所有数据。ProcessWindowFunction就是一个全窗口函数。