Flink SQL自定义聚合函数

王知无(import_bigdata)

已于 2022-03-12 13:20:08 修改

阅读量363

点赞数

分类专栏： Flink系统性学习专栏文章标签： flink sql 数据库

于 2021-08-28 22:32:27 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/119974407

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 102 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Flink Table/SQL API中如何自定义聚合函数，包括基本使用、撤回定义和源码调用位置。通过一个实际案例展示了如何处理设备最新状态的聚合，解释了`AggregateFunction`的主要方法如`createAccumulator`、`accumulate`和`getValue`，并讨论了撤回机制的重要性和实现。此外，还分析了在非窗口聚合中`GroupAggProcessFunction`的调用流程。

摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

基本使用

Flink Table/SQL Api中自带了一些常见的聚合函数，例如sum、min、max等，但是在实际开发中需要自定义符合业务需求的聚合函数，先从一个实际案例入手：设备随时上报状态，现在需要求出设备的当前最新状态。分析：设备上报状态会产生多条数据，现在只需要最新的状态数据即可，很明显这是多对一的聚合类型的操作，聚合逻辑是每次保留设备的最新状态与时间，下次设备上报数据时间与保留的数据时间进行比较，如果比其大则更新。实现代码如下：

publicclassLatestTimeUdfextendsAggregateFunction<Integer,TimeAndStatus>{

@OverridepublicTimeAndStatus createAccumulator(){
returnnewTimeAndStatus();
}

publicvoid accumulate(TimeAndStatus acc,Integer status,Long time){
if(time > acc.getTimes()){
            acc.setStatus(sta