hive通过修改源码永久注册UDF

1.先下载对应版本的源码,地址:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1-src.tar.gz
2.找出对应的java文件,并对其修改

[hadoop@hadoop000 hive-1.1.0-cdh5.7.0]# find . -name FunctionRegistry.java
./ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java

3.修改FunctionRegistry.java文件,在文件的static块中参考其它函数的注册方法和导入自定义的java文件即可。例如参考:Substr这个函数

import org.apache.hadoop.hive.ql.udf.UDFSubstr;
import org.apache.hadoop.hive.ql.udf.UDFHello;  // 添加自定义UDF的包
 
  static {
    system.registerGenericUDF("concat", GenericUDFConcat.class);
    system.registerUDF("my_hello", UDFHello.class, false, new FunctionResource[0]); // 添加注册信息
    system.registerUDF("substr", UDFSubstr.class, false);
    ...
 }

4.进入UDFSubstr.java(实现Substr的文件)的同级目录,直接vi HelloWord.java ,然后复制黏贴感觉更效率。
[hadoop@hadoop000 hive-1.1.0-cdh5.7.0]# find . -name UDFSubstr.java
./ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSubstr.java
UDFHello.java代码如下:

package org.apache.hadoop.hive.ql.udf;
 
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
 
@Description(
        name = "hello",
        value = "hello(String)",
        extended = "return new Text(\"hello:\" + s.toString());"
)
 
public class UDFHello extends UDF {
    public Text evaluate(final Text s) {
        if (s == null) { return null; }
        return new Text("Hello: " + s.toString());
    }
 
    public static void main(String str[]) {
        System.out.println("hello");
        Text s = new Text("abc");
        System.out.println(new UDFHello().evaluate(s).toString());
    }
}

5.由于此次编译的hive版本为:hive-1.1.0-cdh5.15.1 需要修改pom文件

<repositories>
        ......
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
        </repository>
</repositories>

6.编译 mvn clean package -Phadoop-2 -DskipTests -Pdist
4.将编译后的.jar拷贝到hive主服务节点,重启hive 
cp  /home/hadoop/source/hive-1.1.0-cdh5.15.1/ql/target hive-exec-1.1.0-cdh5.15.1.jar /home/hadoop/app/hive-1.1.0-cdh5.15.1/lib
5.进入hive检查是否存在该函数

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值