Flink 实践教程-进阶（8）：自定义标量函数（UDF）

已于 2023-07-11 16:02:32 修改
阅读量1.5k 收藏
点赞数
文章标签： 数据库 java 大数据 flink
于 2022-02-24 17:58:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cloudbigdata/article/details/123124442
版权

作者：腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介  

流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。

操作教程

本文将您详细介绍如何使用自定义标量函数（UDF），对随机产生的数据进行处理后存入 MySQL 中。

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1]，点击左侧【集群管理】，点击左上方【创建集群】，具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建 MySQL 实例

进入 MySQL 控制台 [3]，点击【新建】。具体可参考官方文档 创建 MySQL 实例 [4]。进入实例后，单击右上角【登陆】即可登陆 MySQL 数据库。

创建 MySQL 表

-- 建表语句，用于接收 Sink 端数据
CREATE TABLE `udf_output` (
 `id`
最低0.47元/天 解锁文章
腾讯云大数据
关注
大数据Flink（一百二十）：Flink SQL自定义函数（UDF）
Lansonli（蓝深李）的博客
09-17 1690
点击确定后，Flink开发控制台会解析UDF文件中是否使用了Flink UDF、UDAF和UDTF接口的类，并自动提取类名，填充到Function Name字段中。进入阿里云Flink开发平台，点击左侧导航栏SQL开发，点击左侧的函数页签，单击注册UDF，将udx.zip上传，如下图所示。其中udfs.py udafs.py udtfs.py分别对应了UDSF、UDAF、UDTF三个函数的示例。点击创建函数，可以看到函数页签下出现了udx目录，下面有三个自定义函数，此时自定义函数创建完成。
富函数（Rich Functions）
devcy的博客
01-08 2657
“富函数”是DataStream API提供的一个函数类的接口，所有Flink函数类都有其Rich版本。它与常规函数的不同在于，可以获取运行环境的上下文，并拥有一些生命周期方法，所以可以实现更复杂的功能。  RichMapFunction  RichFlatMapFunction  RichFilterFunction Rich Function有一个生命周期的概念。典型的生命周期方法有： ...
FlinkAPI开发之自定义函数UDF
最新发布
Appreciate(欣赏)
01-07 1438
用户自定义函数（user-defined function，UDF），即用户可以根据自身需求，重新实现算子的逻辑。。
Flink中的UDF的实现
qq_42456324的博客
12-03 1915
Flink 的 Table API 和 SQL 提供了多种自定义函数的接口，以抽象类的形式定义。当前 UDF 主要有以下几类： 自定义标量函数可以把 0 个、 1 个或多个标量值转换成一个标量值，它对应的输入是一行数据中的字段，输出则是唯一的值。所以从输入和输出表中行数据的对应关系看，标量函数是“一对一”的转换，类似于hive中的UDF。 想要实现自定义的标量函数，我们需要自定义一个类来继承抽象类 ScalarFunction，并实 现叫作 eval() 的求值方法。标量函数的
Flink--Table API UDF函数之标量函数
weixin_42051673的博客
09-27 218
flink实现标量函数（scalarFunction）的方式是，自定义一个类，继承 ScalarFunction类，定义一个eval 函数，直接用def 不是override 注意tableAPI的形式下，不需要注册该函数，可以直接调用实例化的对象 但是在SQL形式下，需要先注册该函数 /** * @program: flink2021 * @description: ${description} * @author: Mr.G * @create: 2021-09-27 13:31
Flink（42）：Flink之TableAPI和FlinkSQL中的函数（Functions）
yang_shibiao的博客
10-24 923
目录 0. 相关文章链接 1. 系统内置函数 1.1. 比较函数 1.2. 逻辑函数 1.3. 算术函数 1.4. 字符串函数 1.5. 时间函数 1.6. 聚合函数 2. UDF 2.1.注册用户自定义函数UDF 2.2.标量函数（Scalar Functions） 2.3.表函数（Table Functions） 2.4.聚合函数（Aggregate Functions） 2.5.表聚合函数（Table Aggregate Functions） 0. 相关文章链接...
Flink 实践教程-进阶（10）：自定义聚合函数（UDAF）
cloudbigdata的博客
03-11 3185
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、...
Flink 实践教程-进阶（9）：自定义表值函数（UDTF）
cloudbigdata的博客
03-03 2213
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝...
Flink-函数 | 用户自定义函数（UDF）标量函数 | 表函数 | 聚合函数 | 表聚合函数
SmallScorpion
06-01 1450
GitHub https://github.com/SmallScorpion/flink-tutorial.git 函数（Functions） 用户自定义函数（UDF） 用户定义函数（User-defined Functions，UDF）是一个重要的特性，它们显著地扩展了查询的表达能力,一些系统内置函数无法解决的需求，我们可以用UDF来自定义实现。 在大多数情况下，用户定义的函数必须先注册，然后才能在查询中使用 函数通过调用 registerFunction（）方法在 TableEnvironmen
4.1.13 Flink-流处理框架-Flink流处理API之实现 UDF 函数（更细粒度的控制流）
敲代码的乔帮主
03-02 388
目录 1.函数类（Function Classes） 补充小知识：静态内部类 2.匿名函数（Lambda Functions） 3.富函数（Rich Functions） 1.函数类（Function Classes） Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如 MapFunction, FilterFunction, ProcessFunction 等等。 下面例子实现了 FilterFunction 接口： ...
Flink自定义UDF
FlatTiger的博客
05-28 332
准备POJO类 package com.wanshun.bigdata.chapter05; /** * Author:panghu * Date:2022-04-19 * Description:定义一个Flink POJO数据类型的类，方便数据的解析和序列化 * POJO类型的类需要满足以下几点： * 1.类是公共的和独立的（没有非静态内部类） * 2.有一个公共的无参构造器 * 3.所有的属性都是公共的且非final的，或者有公共的getter和setter方法 * 4.所有属性的类
flink sql 自定义函数UDF
qq_27242695的博客
04-20 1009
文章目录flink sql 自定义函数UDF1 maven 依赖引用2. 自定义UDF函数2.1 标量函数 (Scalar Function)2.1.1 example2.2 表函数（Table Function）2.2.1 example2.3 聚合函数（Aggregate Function）2.3.1 example2.4 表聚合函数（Table Aggregate Functions） flink sql 自定义函数UDF flink版本：1.13.1 scala版本：2.12 1 maven 依赖引
Flink-sql自定义udf 函数
wudonglianga的专栏
08-12 546
1. 用自定义的函数在Flink Sql 中使用 1.1 官网也说的很详细 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/functions/udfs.html 1.1.1 官网上面的例子： import org.apache.flink.table.api.*; import org.apache.flink.table.functions.ScalarFunction; import static org.a
Flink UDF函数
qq_32486597的博客
11-15 1287
Flink UDF函数介绍
Flink-SQL-UDF(自定义函数)
silmeweed的博客
08-04 6391
主要讲三种udf：(SQL里可解释的Function) ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力. 1.用户自定义函数在使用之前是必须要注册的。调用TableEnvironment的registerFunction()方法来实现注册。Udf注册成功之后，会被插入TableEnvironment的function catalog，这样table API和sql就能解析他了。 2.
flink中UDF函数
song_quan_的博客
11-03 1987
1 函数类（Function Classes） Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如 MapFunction, FilterFunction, ProcessFunction 等等。 下面例子实现了 FilterFunction 接口： 还可以将函数实现成匿名类 我们 filter 的字符串"flink"还可以当作参数传进去。 2 匿名函数（Lambda Functions） 3 富函数（Rich Fu...
【FlinkSQL】自定义udf
一杯咖啡半杯糖的博客
07-22 1967
flink-sql 自定义UDF需注意： 1、函数类 实现类必须继承自合适的基类之一（例如 org.apache.flink.table.functions.ScalarFunction ）。 该类必须声明为 public ，而不是 abstract ，并且可以被全局访问。不允许使用非静态内部类或匿名类。 为了将自定义函数存储在持久化的 catalog 中，该类必须具有默认构造器，且在运行时可实例化。 2、求值方法 基类提供了一组可以被重写的方法，例如 open()、 close() 或 isDe.
Flink UDF函数（Function）
forerunner123的博客
03-21 389
接口Function -》接口FilterFunction、MapFunction、FlatMapFunction、ReduceFunction、CoMapFunction 自定义Function，实现以上函数，并重写内部的方法。 ds.reduce(new myFunction()); class myFunction implements ReduceFunction<SensorReading>() { @Override public S
Flink进阶教程：从Runtime到实战解析
教程覆盖了Flink的各个方面，包括Runtime核心机制、时间属性解析、Checkpoint原理、Yarn和K8s上的部署、数据类型与序列化、作业执行解析、网络流控与反压、Metrics系统、Flink Connector开发、状态管理最佳实践、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值