将自定义函数集成到Hive的源码

Hive中自定义函数概述

在工作中，Hive的内置函数，远远不能满足需求，因此需要自定义函数
UDF： 用户自定义 one-to-one(一进一出，一对一)
UDAF： many-to-one(多对一)
UDTF： one-to-many(一进多出)
自定义函数的开发需要按照Hive的要求，见下图：

Hive源码下载

版本：hive-1.1.0-cdh5.7.0-src.tar.gz
地址：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz

UDF函数的编写

编写SayHello.java文件，将其保存到$HIVE_HOME/ql/src/java/org/apache/hadoop/hive/ql/udf路径之下

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

@Description(name = "SayHello",
        value = "_FUNC_(input_str) - returns the Hello: input_str",
        extended = "Example:\n "
                + "  > SELECT _FUNC_('zhangsan') FROM src LIMIT 1;\n"
                + "  'Hello: zhangsan'\n")
public class SayHello extends UDF{

    public Text evaluate(Text input){
        return  new Text("Hello: " + input);
    }

}

修改FunctionRegistry.java

路径：$HIVE_HOME/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java

...
import org.apache.hadoop.hive.ql.udf.SayHello;
...
  // registry for system functions
  private static final Registry system = new Registry(true);

  static {
    system.registerGenericUDF("concat", GenericUDFConcat.class);
    system.registerUDF("SayHello", SayHello.class, false);
    system.registerUDF("substr", UDFSubstr.class, false);
    system.registerUDF("substring", UDFSubstr.class, false);
    system.registerUDF("space", UDFSpace.class, false);

编译Hive源码

$>cd $HIVE_HOME
$>mvn clean package -DskipTests -Phadoop-2 -Pdist

编译成功截图：

Hive部署

具体部署参见博文：Hive的产生背景 & 概述 & 发展历程 & 架构 & 部署及简单入门

测试

hive>show functions;