大数据-玩转数据-Flink窗口函数

人猿宇宙

已于 2023-10-19 19:43:51 修改

阅读量1k

点赞数

分类专栏：大数据-玩转数据-FLINK 文章标签：大数据 flink

于 2023-08-27 17:07:45 首次发布

本文链接：https://blog.csdn.net/s_unbo/article/details/132516715

版权

本文详细介绍了Flink中的窗口函数，包括ReduceFunction、AggregateFunction和ProcessWindowFunction。ReduceFunction和AggregateFunction通过增量聚合实现高效计算，而ProcessWindowFunction虽然能获取窗口所有元素但效率较低，因为需要缓存所有元素。文章还提到了一些简单的聚合操作以及三种函数的运行结果。

摘要由CSDN通过智能技术生成

一、Flink窗口函数

前面指定了窗口的分配器, 接着我们需要来指定如何计算, 这事由window function来负责. 一旦窗口关闭, window function 去计算处理窗口中的每个元素.
window function 可以是ReduceFunction,AggregateFunction,or ProcessWindowFunction中的任意一种.
ReduceFunction,AggregateFunction更加高效, 原因就是Flink可以对到来的元素进行增量聚合 . ProcessWindowFunction 可以得到一个包含这个窗口中所有元素的迭代器, 以及这些元素所属窗口的一些元数据信息.
ProcessWindowFunction不能被高效执行的原因是Flink在执行这个函数之前, 需要在内部缓存这个窗口上所有的元素。
除了一些简单聚合，比如 sum,max,min,maxBay,minBay ，有以下窗口聚合函数。

二、ReduceFunction(增量聚合函数)

输入和输出必须一致

package com.lyh.flink07;

import com.lyh.bean.WaterSensor;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.assigners.TumblingProcessingTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;

public class Window_s_function {
   
    public static void main(String[] args) throws Exception {
   
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env.socketTextStream("hadoop100",9999)
                .map(line -> {
   
                    String[] data = line.split(",");
                    return new WaterSensor(
                            data[0],
                            Long.valueOf(data[1]),
                            Integer.valueOf(data[2])
                    );
                })
                .keyBy(WaterSensor::getId