【Flink Scala】Table API 自定义函数


Flink Table SQL 内置了很多 SQL 中支持的函数;如果有无法满足的需要,则可以实 现用户自定义的函数(UDF)来解决。

内置函数

Flink Table APISQL 为用户提供了一组用于数据转换的内置函数。SQL 中支持的很多 函数,Table API SQL都已经做了实现,其它还在快速开发扩展中。

以下是一些典型函数的举例

比较函数

SQL Table API
value1 = value2 ANY1 === ANY2
value1 > value2 ANY1 > ANY2

逻辑函数

SQL Table API
boolean1 OR boolean2 BOOLEAN1 || BOOLEAN
boolean IS FALSE BOOLEAN.isFalse
NOT boolean !BOOLEAN

算术函数

SQL Table API
numeric1 + numeric2 NUMERIC1 + NUMERIC
POWER(numeric1, numeric2 NUMERIC1.power(NUMERIC2)

字符串函数

SQL Table API
string1 || string2 STRING1 + STRING
UPPER(string) STRING.upperCase()
CHAR_LENGTH(string) STRING.charLength()

时间函数

SQL Table API
DATE string STRING.toDate
TIMESTAMP string STRING.toTimestamp
CURRENT_TIME currentTime()
INTERVAL string range NUMERIC.days
NUMERIC.minutes

聚合函数

SQL Table API
COUNT(*) FIELD.count
SUM([ ALL | DISTINCT ] expression FIELD.sum0
RANK()
ROW_NUMBER()

UDF

用户定义函数(User-defined Functions,UDF)是一个重要的特性,因为它们显著地扩 展了查询(Query)的表达能力。一些系统内置函数无法解决的需求,我们可以用 UDF 来自 定义实现

注册用户自定义函数 UDF

在大多数情况下,用户定义的函数必须先注册,然后才能在查询中使用。不需要专门为 ScalaTable API注册函数。

函数通过调用 registerFunction()方法在 TableEnvironment 中注册。当用户定义的函数 被注册时,它被插入到 TableEnvironment 的函数目录中,这样 Table API 或 SQL 解析器就可 以识别并正确地解释它。

标量函数

用户定义的标量函数,可以将 0、1 或多个标量值,映射到新的标量值。

为了定义标量函数,必须在 org.apache.flink.table.functions 中扩展基类 Scalar Function, 并实现(一个或多个)求值(evaluation,eval)方法。标量函数的行为由求值方法决定, 求值方法必须公开声明并命名为 eval(直接 def 声明,没有 override)。求值方法的参数类型 和返回类型,确定了标量函数的参数和返回类型

我们自定义一个函数,输出hashcode相关的值

不要导错包

image-20220331113329082

class HashCode(factor: Int) extends ScalarFunction {
   
  def eval(s: String): Int = {
   
    s.hashCode * factor - 10000
  }
}

里面的具体实现方法必须是公开的,方法名必须是eval

类的参数是定义类是输入的

方法得参数,就是具体需要处理的数据

使用步骤

package UDF

import Source.SensorReading
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.table.api.EnvironmentSettings
import org.apache.flink.table.api
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值