UDF

  UDF函数用户自定义函数，在查询执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。Hive中有3种UDF：

• UDF：操作单个数据行，产生单个数据行，如：upper、substr函数
• UDAF：操作多个数据行，产生一个数据行，如sum、min函数
• UDTF：操作一个数据行，产生多个数据行一个表作为输出，如 lateral view 、explode函数

  如果函数读和返回都是基础数据类型，即 Hadoop 和 Hive 的基本类型，如Text、IntWritable、LongWritable、DoubleWritable 等，那么继承 org.apache.hadoop.hive.ql.exec.UDF 。如果用来操作内嵌数据结构，如 Map、List 和 Set，则继承 org.apache.hadoop.hive.ql.udf.generic.GenericUDF。

用户构建的UDF使用过程如下：

1. 继承UDF或者UDAF或者UDTF，实现特定的方法
2. 将写好的类打包为jar，这里是WordTransferUDF.jar
3. 进入到Hive shell环境中，输入命令add jar /home/hadoop/WordTransferUDF.jar注册该jar文件；或者把WordTransferUDF.jar上传到HDFS，hadoop fs -put WordTransferUDF.jar /home/hadoop/WordTransferUDF.jar，再输入命令add jar hdfs://hadoop01:8020/user/home/WordTransferUDF.jar
4. 为该类起一个别名，create temporary function lower_udf as ‘UDF.lowerUDF’；注意，这里UDF只是为这个Hive会话临时定义的
5. 在select中使用lower_udf()

自定义UDF

【pom.xml依赖】

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>1.2.1</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.3</version>
</dependency>

【编写UDF代码】

package UDF;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public class WordTransferUDF extends UDF{
   
    /**
     * 1. Implement one or more methods named "evaluate" which will be called by Hive.
     * 2. "evaluate" should never be a void method. However it can return "null" if needed.
     */
    public Text evaluate(Text str){
   
        // input parameter validate
        if(null == str){
   
            return null ;
        }
        // validate
        if(StringUtils.isBlank(str.toString())){
   
            return null ;
        }
        // lower
        return new Text(str.toString().toLowerCase()) ;
    }
}

【打包】
注意 工程所用的jdk要与Hadoop集群使用的jdk是同一个版本
　　
【注册UDF】

hive> add jar /home/hadoop/LowerUDF.jar
hive> create temporary function lower_udf as "UDF.LowerUDF";

【测试】

hive> create table test (id int ,name string);
hive> insert into test values(1,'TEST');
hive> select lower_udf(name) from test;

注意事项：

1. 一个用户UDF必须继承org.apache.hadoop.hive.ql.exec.UDF
2. 一个UDF必须要包含有evaluate()方法，但是该方法并不存在于UDF中。evaluate的参数个数以及类型都是用户自定义的。在使用的时候，Hive会调用UDF的evaluate()方法

GenericUDF

  GenericUDF API 提供了一种方法去处理那些不是可写类型的对象，例如：struct，map 和 array 类型。这个 API 需要用户亲自为函数的参数管理对象存储格式，验证接收的参数的数量与类型。这个 API 要求实现以下方法：

// 这个类似于简单 API 的 evaluate 方法，它可以读取输入数据和返回结果
abstract Object evaluate(GenericUDF.DeferredObject[] arguments);  
// 该方法应当是描述该 UDF 的字符串，显示函数的提示信息
abstract String getDisplayString(String[] children);  
// 只调用一次，在任何 evaluate() 调用之前，可以接收到一个可以表示函数输入参数类型的 object inspectors 数组
// 是用来验证该函数是否接收正确的参数类型和参数个数的地方
abstract ObjectInspector initialize(ObjectInspector[] arguments);  

例子来自 《Hive 编程指南》，编写一个用户自定义函数，称之为nvl()，这个函数传入的值如果是 null，那么就返回一个默认值。函数 nvl() 要求有 2 个参数。如果第 1 个参数是非null值，那么就返回这个值；如果第 1 个参数是 null，那么就返回第 2 个参数的值。

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDFUtils;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

public class GenericUDFNvl extends GenericUDF {
   
    private GenericUDFUtils.ReturnObjectInspectorResolver returnOIResolver;
    private ObjectInspector[] argumentOIs;
    @Override
    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
   
        argumentOIs = arguments;
        // 1.检验参数个数
        if (arguments.length != 2) {
   
            throw new UDFArgumentException("The operator 'NVL' accepts 2 arguments.");
        }
        // 2.检验参数类型
        returnOIResolver = new GenericUDFUtils.ReturnObjectInspectorResolver(true);
        if (!(returnOIResolver.update(arguments[0]) && returnOIResolver.update(arguments[1]))) {
   
            throw new UDFArgumentTypeException(2, "The 1st and 2nd args of function NLV should have the same type, "
                    + "but they are different: \"" + arguments[0].getTypeName(