hive笔记-通过修改源码注册永久UDF

准备：先下载对应版本的源码，并源码编译一次。

1、找出对应的java文件，并对其修改

[root@hadoop001 hive-1.1.0-cdh5.7.0]# find . -name FunctionRegistry.java
./ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java

2、修改FunctionRegistry.java文件，在文件的static块中参考其它函数的注册方法和导入自定义的java文件即可。
例如参考：Substr这个函数

import org.apache.hadoop.hive.ql.udf.UDFSubstr;
import org.apache.hadoop.hive.ql.udf.HelloWord;  // 添加自定义UDF的包

  static {
    system.registerGenericUDF("concat", GenericUDFConcat.class);
    system.registerUDF("my_hello", HelloWord.class, false, new FunctionResource[0]); // 添加注册信息
    system.registerUDF("substr", UDFSubstr.class, false);
    ...
 }

3、进入UDFSubstr.java(实现Substr的文件)的同级目录，直接vi HelloWord.java ,然后复制黏贴感觉更效率。

[root@hadoop001 hive-1.1.0-cdh5.7.0]# find . -name UDFSubstr.java
./ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSubstr.java

HelloWord.java代码如下

package org.apache.hadoop.hive.ql.udf;

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

@Description(
        name = "my_hello",
        value = "my_hello(String)",
        extended = "return new Text(\"HelloWord:\" + s.toString());"
)

public class HelloWord  extends UDF {
    public Text evaluate(final Text s) {
        if (s == null) { return null; }
        return new Text("HelloWord:" + s.toString());
    }

    public static void main(String str[]) {
        System.out.println("hello");
        Text s = new Text("abc");
        System.out.println(new HelloWord().evaluate(s).toString());
    }
}

4、编译 mvn clean package -Phadoop-2 -DskipTests -Pdist

5、替换lib（替换前别忘了备份、替换前别忘了备份、替换前别忘了备份），这里别忘了把原来lib中mysql驱动拷贝回来

6、进入hive检查是否存在该函数

hive> desc function my_hello;
OK
my_hello(String)
Time taken: 0.018 seconds, Fetched: 1 row(s)

OK。
hive> select my_hello(ename) from emp_dept_partition limit 3;
OK
HelloWord:SMITH
HelloWord:JONES
HelloWord:SCOTT
Time taken: 0.108 seconds, Fetched: 3 row(s)

【来自@若泽大数据】