基础篇（三）：Flink window窗口计算

一、基本概念理解

1、窗口： 是将无限的数据流根据时间语义维度切割成一个有限大小的桶，然后对这个桶内的数据进行计算
2、窗口分类：

• 滚动窗口 tumbling window
  
  描述：按照固定的时间长度对数据流切分，且窗口之间不会出现重叠

• 滑动窗口 sliding window
  
  描述：由固定的窗口长度和滑动间隔组成，窗口之间有重叠，通常滑动间隔要小于窗口长度

• 会话窗口 session window
  
  描述：在一定的时间长度timeout没有接收到数据，则生成一个新的窗口

• 全局窗口 global window (这个一般很少用)

二、窗口API

1、窗口分配器
创建窗口，常用分配器如下：
timeWindow() 根据时间区间（左闭右开）创建窗口
滚动窗口 timeWindow(Time.seconds(10))
滑动窗口 timeWindow(Time.seconds(10),Time.seconds(5))
会话窗口 window(EventTimeSessionWindows.withGap(Time.seconds(10)))

窗口计算触发时机，根据时间语义划分：

• 事件时间： 当水位线超过窗口结束时间，触发窗口计算
• 处理时间： 当处理时间（算子处理时的机器时间）超过窗口结束时间，触发窗口计算

countWindow() 计数窗口
滚动计数窗口 countWindow(10)
滑动计数窗口 countWindow(10，5)

2、窗口函数

• 增量聚合函数
  窗口里每进来一条数据便计算
  如：ReduceFunction, AggregateFunction

/**
 * 求最近5秒内出现的最高气温
 */
public class MinTemperatureStream {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        DataStreamSource<WeatherRecord> stream = env.addSource(new WeatherSource());
        stream.keyBy(r->r.city)
              .timeWindow(Time.seconds(5))
              .aggregate(new MyMaxTemp())
              .print();
        env.execute();
    }

   public static class MyMaxTemp implements AggregateFunction<WeatherRecord, Tuple2<String,Double>, Tuple2<String,Double>>{

       @Override
       public Tuple2<String, Double> createAccumulator() {
           //给累加器赋默认值
           return Tuple2.of("",Double.MIN_VALUE);
       }
       @Override
       public Tuple2<String, Double> add(WeatherRecord weatherRecord, Tuple2<String, Double> acc) {
           if(weatherRecord.temperature>acc.f1){
               return Tuple2.of(weatherRecord.city,weatherRecord.temperature);
           }else{
               return  acc;
           }
       }
       @Override
       public Tuple2<String, Double> getResult(Tuple2<String, Double> acc) {
           return acc;
       }
       /**
        * 该方法在 事件时间、会话窗口中才会调用
        */
       @Override
       public Tuple2<String, Double> merge(Tuple2<String, Double> stringDoubleTuple2, Tuple2<String, Double> acc1) {
           return null;
       }
   }
}

• 全窗口函数
• 等窗口内的所有数据到齐，遍历集合计算
• 如：ProcessWindowFunction（分流、开窗后调用），KeyedProcessFunction（分流后即可调用，可以做定时器操作）

/**
 * 求最近5秒内平均气温
 */
public class AvgTemperatureStream {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        DataStreamSource<WeatherRecord> stream = env.addSource(new WeatherSource());
        stream.keyBy(r->r.city)
              .timeWindow(Time.seconds(5))
              .process(new AvgTemp())
              .print();
        env.execute();
    }

   public static class AvgTemp extends ProcessWindowFunction<WeatherRecord,String,String, TimeWindow>{
       @Override
       public void process(String s, Context context, Iterable<WeatherRecord> iterable, Collector<String> collector) throws Exception {
           Double sum=0.0;
           Long count=0L;
           for(WeatherRecord record:iterable){
               sum += record.temperature;
               count++;
           }
           collector.collect("截止窗口结束时间："+ context.window().getEnd()+",平均气温为："+sum/count);
       }
   }
}

优化建议：可以将ReduceFunction/AggregateFunction和ProcessWindowFunction结合起来使用。因为ProcessWindowFunction要等所有数据到齐才计算比较占内存，因此可以提前做聚合计算，等窗口结束时再输出最终结果