Flink Table
和 SQL
内置了很多 SQL
中支持的函数;如果有无法满足的需要,则可以实 现用户自定义的函数(UDF
)来解决。
内置函数
Flink Table API
和 SQL
为用户提供了一组用于数据转换的内置函数。SQL
中支持的很多 函数,Table API
和SQL
都已经做了实现,其它还在快速开发扩展中。
以下是一些典型函数的举例
比较函数
SQL | Table API |
---|---|
value1 = value2 | ANY1 === ANY2 |
value1 > value2 | ANY1 > ANY2 |
逻辑函数
SQL | Table API |
---|---|
boolean1 OR boolean2 | BOOLEAN1 || BOOLEAN |
boolean IS FALSE | BOOLEAN.isFalse |
NOT boolean | !BOOLEAN |
算术函数
SQL | Table API |
---|---|
numeric1 + numeric2 | NUMERIC1 + NUMERIC |
POWER(numeric1, numeric2 | NUMERIC1.power(NUMERIC2) |
字符串函数
SQL | Table API |
---|---|
string1 || string2 | STRING1 + STRING |
UPPER(string) | STRING.upperCase() |
CHAR_LENGTH(string) | STRING.charLength() |
时间函数
SQL | Table API |
---|---|
DATE string | STRING.toDate |
TIMESTAMP string | STRING.toTimestamp |
CURRENT_TIME | currentTime() |
INTERVAL string range | NUMERIC.days |
NUMERIC.minutes |
聚合函数
SQL | Table API |
---|---|
COUNT(*) | FIELD.count |
SUM([ ALL | DISTINCT ] expression | FIELD.sum0 |
RANK() | |
ROW_NUMBER() |
UDF
用户定义函数(User-defined Functions,UDF
)是一个重要的特性,因为它们显著地扩 展了查询(Query
)的表达能力。一些系统内置函数无法解决的需求,我们可以用 UDF
来自 定义实现
注册用户自定义函数 UDF
在大多数情况下,用户定义的函数必须先注册,然后才能在查询中使用。不需要专门为 Scala
的Table API
注册函数。
函数通过调用 registerFunction()
方法在 TableEnvironment
中注册。当用户定义的函数 被注册时,它被插入到 TableEnvironment
的函数目录中,这样 Table API 或 SQL 解析器就可 以识别并正确地解释它。
标量函数
用户定义的标量函数,可以将 0、1 或多个标量值,映射到新的标量值。
为了定义标量函数,必须在 org.apache.flink.table.functions
中扩展基类 Scalar Function
, 并实现(一个或多个)求值(evaluation,eval
)方法。标量函数的行为由求值方法决定, 求值方法必须公开声明并命名为 eval
(直接 def
声明,没有 override
)。求值方法的参数类型 和返回类型,确定了标量函数的参数和返回类型
我们自定义一个函数,输出hashcode
相关的值
不要导错包
class HashCode(factor: Int) extends ScalarFunction {
def eval(s: String): Int = {
s.hashCode * factor - 10000
}
}
里面的具体实现方法必须是公开的,方法名必须是eval
类的参数是定义类是输入的
方法得参数,就是具体需要处理的数据
使用步骤
package UDF
import Source.SensorReading
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.table.api.EnvironmentSettings
import org.apache.flink.table.api