【Spark】（十二）使用UDTF（User-Defined Table-Generating Functions）

最新推荐文章于 2024-11-29 19:54:53 发布

屡傻不改

最新推荐文章于 2024-11-29 19:54:53 发布

阅读量1k

点赞数 2

分类专栏： Spark 文章标签： spark UDTF

本文链接：https://blog.csdn.net/qianchun22/article/details/109765794

版权

本文介绍了Spark中的UDTF（User-Defined Table-Generating Functions），用于处理一行输出多行的需求。通过实现`GenericUDTF`，包括initialize、process和close方法，详细阐述了UDTF的工作流程。举例展示了UDTF的使用，并提到了注册UDTF的注意事项，如在`process`方法中参数转换，以及在SparkSQL中的使用限制。

摘要由CSDN通过智能技术生成

一、UDTF介绍

UDTF(User-Defined Table-Generating Functions) 用来解决输入一行输出多行(On-to-many maping) 的需求。

二、使用UDTF

继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。

1、UDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）。
2、初始化完成后，会调用process方法,真正的处理过程在process函数中，在process中，每一次forward()调用产生一行；如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。
3、最后close()方法调用，对需要清理的方法进行清理。

案例：
通过实现抽象类org.apache.hadoop.hive.ql.udf.generic.GenericUDTF来自定义UDTF算子

class myUDTF extends GenericUDTF{
   

  //这个方法的作用：1.输入参数校验  2. 输出列定义，可以多于1列，相当于可以生成多行多列数据
  override def initialize(argOIs: Array[ObjectInspector]): StructObjectInspector = {
   
    if (argOIs.length != 1){
   
      throw new UDFArgumentLengthException("有且只有一个参数传入")
    }
    if (argOIs(0).getCategory != ObjectInspector.Category.PRIMITIVE){
   
      throw new UDFArgumentLengthException("参数类型不匹配")
    }