【Spark】（十二）使用UDTF（User-Defined Table-Generating Functions）

一、UDTF介绍

UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。

二、使用UDTF

继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。

• 1、UDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）。
• 2、初始化完成后，会调用process方法,真正的处理过程在process函数中，在process中，每一次forward()调用产生一行；如果产生多列可以将多个列的值放在一个数组中，然后将该数组传入到forward()函数。
• 3、最后close()方法调用，对需要清理的方法进行清理。

案例：
通过实现抽象类org.apache.hadoop.hive.ql.udf.generic.GenericUDTF来自定义UDTF算子

class myUDTF extends GenericUDTF{
   

  //这个方法的作用：1.输入参数校验  2. 输出列定义，可以多于1列，相当于可以生成多行多列数据
  override def initialize(argOIs: Array[ObjectInspector]): StructObjectInspector = {
   
    if (argOIs.length != 1){
   
      throw new UDFArgumentLengthException("有且只有一个参数传入")
    }
    if (argOIs(0).getCategory != ObjectInspector.Category.PRIMITIVE){
   
      throw new UDFArgumentLengthException("参数类型不匹配")
    }

    <