问题起因
自定义 org.apache.flink.table.functions.AggregateFunction,自认为完美无缺,突然程序报错…
报错:Caused by: org.apache.flink.table.api.ValidationException: Cannot extract a data type from a pure ‘java.lang.Object’ class. Usually, this indicates that class information is missing or got lost. Please specify a more concrete class or treat it as a RAW type.
大意:不能吃Object对象中提取出数据类型,通常情况下,这就是表示这个class的信息丢失了或者根本没有获得,请指定一个更具体的类或者使用一个Row类型去处理该数据
本文是基于Scala
所写的,Java
处理方式略有不同,如在Java
中,使用Tuple
数据类型是完全可以避免这种报错的
根据返回的报错信息,有如下几种解决方式
解决方式①(麻烦)
将返回的数据放在一个样例类中,而不是简单返回一个Tuple或者其他的数据类型,一定可以解决!
解决方式②(丢失了数据类型)
返回一个Row类型,需要将数据封装成Row
解决方式③(推荐)
使用Flink Table annotation
下面的是官方文档译文
影响基于反射提取输入类型、累加器类型和输出类型以构建UserDefinedFunction的TypeInference逻辑的提示。
一个或多个注释可以在UserDefinedFunction类的顶部声明,也可以单独为每个eval()/accumulate()方法声明,以重载函数签名。
所有提示参数都是可选的。 如果未定义参数,则使用默认的基于反射的提取。
在UserDefinedFunction类之上定义的提示参数由所有eval()/accumulate()方法继承。
以下示例显示了如何显式指定整体或部分函数签名,并让默认提取完成其余工作:
// accepts (INT, STRING) and returns BOOLEAN
@FunctionHint(
input = [@DataTypeHint("INT"), @DataTypeHint("STRING")],
output = @DataTypeHint("BOOLEAN")
)
class X extends ScalarFunction { ... }
// accepts (INT, STRING) or (BOOLEAN) and returns BOOLEAN
@FunctionHint(
input = [@DataTypeHint("INT"), @DataTypeHint("STRING")],
output = @DataTypeHint("BOOLEAN")
)
@FunctionHint(
input = [@DataTypeHint("BOOLEAN")],
output = @DataTypeHint("BOOLEAN")
)
class X extends ScalarFunction { ... }
// accepts (INT, STRING) or (BOOLEAN) and always returns BOOLEAN
@FunctionHint(
output = @DataTypeHint("BOOLEAN")
)
class X extends ScalarFunction {
@FunctionHint(
input = [@DataTypeHint("INT"), @DataTypeHint("STRING")]
)
@FunctionHint(
input = [@DataTypeHint("BOOLEAN")]
)
Object eval(Object... o) { ... }
}
// accepts (INT) or (BOOLEAN) and always returns ROW<f0 BOOLEAN, f1 INT>
@FunctionHint(
output = @DataTypeHint("ROW<f0 BOOLEAN, f1 INT>")
)
class X extends ScalarFunction {
Row eval(int i) { ... }
Row eval(boolean b) { ... }
}
// accepts (ROW<f BOOLEAN>...) or (BOOLEAN...) and returns INT
class X extends ScalarFunction {
@FunctionHint(
input = [@DataTypeHint("ROW<f BOOLEAN>")],
isVarArgs = true
)
int eval(Row... r) { ... }
int eval(boolean... b) { ... }
}
// accepts (INT) and returns INT but allows RAW types in the accumulator type
@FunctionHint(
accumulator = @DataTypeHint(bridgedTo = my.package.MyClass.class, allowRawPattern = "my.package")
)
class X extends AggregateFunction<Integer, MyClass> {
void accumulate(Row acc, int in) { ... }
// ...
}
类似的,那么我们在 UDAF 类上面加上注解 @FunctionHint(input = @DataTypeHint("INT"),output = @DataTypeHint("BIGINT"))
就可以了