pyflink sql udaf 使用流程

最新推荐文章于 2023-10-27 19:12:19 发布

3分钟秒懂大数据

最新推荐文章于 2023-10-27 19:12:19 发布

阅读量741

点赞数

分类专栏： Flink

本文链接：https://blog.csdn.net/weixin_38201936/article/details/115001771

版权

Flink 专栏收录该内容

22 篇文章 21 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

当Flink内置函数无法满足需求时，可以使用UDAF。本文介绍了UDAF的开发步骤，包括编写JSON数据的累加UDAF代码，详细展示了如何创建Accumulator，实现accumulate和getValue方法。此外，还讲解了如何将UDAF打包成jar，并在PyFlink SQL中加载和使用该jar包，最终得到预期的累加结果。

摘要由CSDN通过智能技术生成

当Flink提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF(UDF:user defined function)、（UDAF)、（UDTF）

自定义函数类别

UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。

UDAF: 自定义聚合函数。多行输入一行输出。

UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。

UDAF开发实例: 先看一下json的数据

{"productPrice":1}
{"productPrice":2}
{"productPrice":3}
{"productPrice":4}
{"productPrice":5}

客户需求：需要根据productPrice 的数据进行累加，输入如上图数据，1、2、3、4、5 输出为 1、3、6、10、15,这个就相当于多行输入，最后只输出一行数据

了解本专栏

超级会员免费看

3分钟秒懂大数据

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
pyflink sql udaf 使用流程

当Flink提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF(UDF:user defined function)、（UDAF)、（UDTF）自定义函数类别UDF: 自定义标量函数(User Defined Scalar Function)。一行输入一行输出。UDAF: 自定义聚合函数。多行输入一行输出。UDTF: 自定义表函数。一行输入多行输出或一列输入多列输出。UDAF开发实例: 先看一下json的数据{"productPrice":1}{
复制链接

扫一扫