Hive自定义函数入门实例

概念

UDF函数一共分为三种类型： ​

UDF-一进一出，给定一个参数，输出一个处理后的数据 ​

UDAF-多进一出，属于聚合函数，类似于count、sum等函数 ​

UDTF-一进多出，属于一个参数，返回一个列表作为结果

目的

当hive自定义函数无法满足需求时,就可以使用自定义函数

案例

导入依赖

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>2.1.1</version>
</dependency>

自定义一个java类型，继承`UDF`类型
在自定义的类内部定义一个必须叫`evaluate`名的方法。
方法的形式参数的类型和个数，开发人员根据业务需求决定。

比如

public int evaluate();
public int evaluate(int a);
public double evaluate(int a, double b);
public String evaluate(String a, int b, Text c);
public Text evaluate(String a);
public String evaluate(List<Integer> a); (Note that Hive Arrays are represented as Lists in Hive. So an ARRAY<int> column would be passed in as a List<Integer>.)

编写一个自定义函数,比如小写转大写

import org.apache.hadoop.hive.ql.exec.UDF;

public class getUpper extends UDF {
    public String evaluate(String str) {
        if (str == null || "".equals(str)) {
            throw new RuntimeException("传入的数据不符合要求");
        } else {
            return str.toUpperCase();
        }
    }

    public static void main(String[] args) {
        getUpper getUpper = new getUpper();
        System.out.println(getUpper.evaluate("abc"));
    }
}

利用maven进行打包,上传到服务器.如下

将jar包添加到hive的classpath中,在hive中执行如下命令

add jar /root/soft/Hive-1.0-SNAPSHOT.jar

创建一个自定义的临时函数名

create temporary function myUpper as 'getUpper';

通过show functions; 查看自定义的函数是否存在
使用自定义函数

select myUpper("aBc")

结果如下

UDF源码

public class UDF {

  /**
   * The resolver to use for method resolution.
   */
  private UDFMethodResolver rslv;

  /**
   * The constructor.
   */
  public UDF() {
    rslv = new DefaultUDFMethodResolver(this.getClass());
  }

  /**
   * The constructor with user-provided {@link UDFMethodResolver}.
   */
  protected UDF(UDFMethodResolver rslv) {
    this.rslv = rslv;
  }

  /**
   * Sets the resolver.
   *
   * @param rslv The method resolver to use for method resolution.
   */
  public void setResolver(UDFMethodResolver rslv) {
    this.rslv = rslv;
  }

  /**
   * Get the method resolver.
   */
  public UDFMethodResolver getResolver() {
    return rslv;
  }

  /**
   * This can be overridden to include JARs required by this UDF.
   *
   * @see org.apache.hadoop.hive.ql.udf.generic.GenericUDF#getRequiredJars()
   *      GenericUDF.getRequiredJars()
   *
   * @return an array of paths to files to include, {@code null} by default.
   */
  public String[] getRequiredJars() {
    return null;
  }

  /**
   * This can be overridden to include files required by this UDF.
   *
   * @see org.apache.hadoop.hive.ql.udf.generic.GenericUDF#getRequiredFiles()
   *      GenericUDF.getRequiredFiles()
   *
   * @return an array of paths to files to include, {@code null} by default.
   */
  public String[] getRequiredFiles() {
    return null;
  }
}