Flink SQL自定义聚合函数

王知无(import_bigdata)

已于 2022-03-12 13:16:39 修改

阅读量841

点赞数

分类专栏： Flink系统性学习专栏文章标签： flink sql 爬虫

于 2021-08-29 11:49:06 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/119978742

版权

Flink系统性学习专栏专栏收录该内容

256 篇文章 106 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Flink Table/SQL中自定义聚合函数的步骤和方法，包括基本使用、撤回定义以及源码分析。通过一个设备状态更新的案例，详细解释了如何创建自定义聚合函数，涉及accumulate、getValue和createAccumulator等关键方法。同时讨论了撤回机制和merge、resetAccumulator等可选方法，并指出自定义函数在非窗口聚合中的调用流程。

摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

本篇幅介绍Flink Table/SQL中如何自定义一个聚合函数，介绍其基本用法、撤回定义以及与源码结合分析每个方法的调用位置。

基本使用

Flink Table/SQL Api中自带了一些常见的聚合函数，例如sum、min、max等，但是在实际开发中需要自定义符合业务需求的聚合函数，先从一个实际案例入手：设备随时上报状态，现在需要求出设备的当前最新状态。分析：设备上报状态会产生多条数据，现在只需要最新的状态数据即可，很明显这是多对一的聚合类型的操作，聚合逻辑是每次保留设备的最新状态与时间，下次设备上报数据时间与保留的数据时间进行比较，如果比其大则更新。实现代码如下：

publicclassLatestTimeUdfextendsAggregateFunction<Integer,TimeAndStatus>{

@OverridepublicTimeAndStatus createAccumulator(){
returnnewTimeAndStatus();
}

publicvoid accumulate(TimeAndStatus a

了解本专栏