FlinkSQL之Windowing TVF

最新推荐文章于 2024-09-12 22:10:46 发布

阿远的小一

最新推荐文章于 2024-09-12 22:10:46 发布

阅读量587

点赞数

本文链接：https://blog.csdn.net/qq_41537882/article/details/127639798

版权

本文介绍了Flink1.13版本后引入的Windowing TVF，作为Group Window的替代，它更加强大且有效。通过SQL展示了如何实现Tumble、Slide和Cumulate窗口，并给出了一个具体的累计窗口应用案例，即每天每小时统计一次当天的浏览量(PV)。对于流处理，可以设置滚动窗口或自定义触发器来实现，而SQL中则直接使用Cumulate窗口即可完成该任务。

摘要由CSDN通过智能技术生成

Windowing TVF

在Flink1.13版本之后出现的替代之前的Group window的产物，官网描述其 is more powerful and effective

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lzTIsZpj-1667302326630)(assets/1667299039419.png)]

//TVF 中的tumble滚动窗口
//tumble(table sensor,descriptor(et),interval '5' second ):作为一张表存在
//特别注意！！！！
//如果在sql中使用了tumble窗口，则一定需要group by,而且group by后一定有window_start,window_end两个字段

sql实现TVF的tumble窗口实现

package net.cyan.FlinkSql.TVF;

import net.cyan.POJO.WaterSensor;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;

import java.time.Duration;

import static org.apache.flink.table.api.Expressions.$;

public class Demo1_Window_TableAPI_Tumble {
   
    public static void main(String[] args) {
   
        //创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //创建表的运行环境
        StreamTableEnvironment tabEnv = StreamTableEnvironment.create(env);
        env.setParallelism(1);
        DataStream<WaterSensor> waterSensorStream =
                env.fromElements(
                        new WaterSensor("sensor_1", 1000L, 10),
                        new WaterSensor("sensor_1", 2000L, 20),
                        new WaterSensor("sensor_2", 3000L, 30),
                        new WaterSensor("sensor_1", 4000L, 40),
                        new WaterSensor("sensor_1", 5000L, 50

最低0.47元/天解锁文章