【大数据开发】Flink Table Annotation

在Scala中编写Flink自定义AggregateFunction时遇到ValidationException,提示无法从Object类中提取数据类型。解决方法包括:将返回数据封装到具体类中,使用Row类型或应用Flink的@FunctionHint注解来指定输入和输出数据类型。通过注解可以明确类型信息,避免报错。
摘要由CSDN通过智能技术生成

问题起因

自定义 org.apache.flink.table.functions.AggregateFunction,自认为完美无缺,突然程序报错…
报错:Caused by: org.apache.flink.table.api.ValidationException: Cannot extract a data type from a pure ‘java.lang.Object’ class. Usually, this indicates that class information is missing or got lost. Please specify a more concrete class or treat it as a RAW type.
大意:不能吃Object对象中提取出数据类型,通常情况下,这就是表示这个class的信息丢失了或者根本没有获得,请指定一个更具体的类或者使用一个Row类型去处理该数据

本文是基于Scala所写的,Java处理方式略有不同,如在Java中,使用Tuple数据类型是完全可以避免这种报错的

根据返回的报错信息,有如下几种解决方式

解决方式①(麻烦)

将返回的数据放在一个样例类中,而不是简单返回一个Tuple或者其他的数据类型,一定可以解决!

解决方式②(丢失了数据类型)

返回一个Row类型,需要将数据封装成Row

解决方式③(推荐)

使用Flink Table annotation
下面的是官方文档译文

影响基于反射提取输入类型、累加器类型和输出类型以构建UserDefinedFunction的TypeInference逻辑的提示。
一个或多个注释可以在UserDefinedFunction类的顶部声明,也可以单独为每个eval()/accumulate()方法声明,以重载函数签名。
所有提示参数都是可选的。 如果未定义参数,则使用默认的基于反射的提取。 
在UserDefinedFunction类之上定义的提示参数由所有eval()/accumulate()方法继承。
以下示例显示了如何显式指定整体或部分函数签名,并让默认提取完成其余工作:
 
 // accepts (INT, STRING) and returns BOOLEAN
 @FunctionHint(
   input = [@DataTypeHint("INT"), @DataTypeHint("STRING")],
   output = @DataTypeHint("BOOLEAN")
 )
 class X extends ScalarFunction { ... }

 // accepts (INT, STRING) or (BOOLEAN) and returns BOOLEAN
 @FunctionHint(
   input = [@DataTypeHint("INT"), @DataTypeHint("STRING")],
   output = @DataTypeHint("BOOLEAN")
 )
 @FunctionHint(
   input = [@DataTypeHint("BOOLEAN")],
   output = @DataTypeHint("BOOLEAN")
 )
 class X extends ScalarFunction { ... }

 // accepts (INT, STRING) or (BOOLEAN) and always returns BOOLEAN
 @FunctionHint(
   output = @DataTypeHint("BOOLEAN")
 )
 class X extends ScalarFunction {
   @FunctionHint(
     input = [@DataTypeHint("INT"), @DataTypeHint("STRING")]
   )
   @FunctionHint(
     input = [@DataTypeHint("BOOLEAN")]
   )
   Object eval(Object... o) { ... }
 }

 // accepts (INT) or (BOOLEAN) and always returns ROW<f0 BOOLEAN, f1 INT>
 @FunctionHint(
   output = @DataTypeHint("ROW<f0 BOOLEAN, f1 INT>")
 )
 class X extends ScalarFunction {
   Row eval(int i) { ... }
   Row eval(boolean b) { ... }
 }

 // accepts (ROW<f BOOLEAN>...) or (BOOLEAN...) and returns INT
 class X extends ScalarFunction {
   @FunctionHint(
     input = [@DataTypeHint("ROW<f BOOLEAN>")],
     isVarArgs = true
   )
   int eval(Row... r) { ... }

   int eval(boolean... b) { ... }
 }

 // accepts (INT) and returns INT but allows RAW types in the accumulator type
 @FunctionHint(
   accumulator = @DataTypeHint(bridgedTo = my.package.MyClass.class, allowRawPattern = "my.package")
 )
 class X extends AggregateFunction<Integer, MyClass> {
   void accumulate(Row acc, int in) { ... }
   // ...
 }

类似的,那么我们在 UDAF 类上面加上注解 @FunctionHint(input = @DataTypeHint("INT"),output = @DataTypeHint("BIGINT")) 就可以了

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值