JAVA终身函数_hive添加永久自定义函数

本文介绍了如何将自定义JAVA函数永久集成到Hive中,以避免每次使用时创建临时函数。步骤包括更新环境变量,编译Java函数,打包成jar,修改Hive源代码,以及替换相关jar文件。
摘要由CSDN通过智能技术生成

永久自定义hive函数

1:做这件事的原因:

有一些函数是比较基础的,公用的,每次都要create temporary function麻烦了,这样的基础函数需要直接集成到hive中去,避免每次都要创建。

2:步骤

本人拥有一个账户zb_test

自定义的函数已经准备好

67d2b56a92a49c73662d194e3367e3ab.png

登陆linux账户,修改该账户的home目录下的.bashrc文件:

把CLASSPATH改成如下:

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/

tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/li

b/*:$CLASSPATH(目的是自己编译的时候要用到)

获取hive-0.12.0-cdh5.0.0-src.tar.gz的源代码

解压,找到hive-exec-0.12.0-cdh5.0.0.jar包(hive函数跟这个有关),再解压。

jar -xvf XXX.jar

编译自定义函数的java文件,比如放在utf下

Javac ./utf/*

产生.class文件,放到abc目录下。

把.class文件打成jar包

Jar -cvf ./hello.jar ./abc/*

产生一个jar包,叫hello.jar

把jar包放到/data/zb_test/目录下

然后修改/data/zb_test/.bashrc文件的:

export CLASSPATH=/data/zb_test/hello.jar:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$SQOOP_HOME/lib:/opt/boh-2.0.0/hadoop/share/hadoop/tools/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/lib/*:/opt/boh-2.0.0/hadoop/share/hadoop/common/*:/opt/boh-2.0.0/hive/lib/*:$CLASSPATH(为了测试用的)

将函数test注册到hive的函数列表中修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java文件import org.apache.hadoop.hive.ql.udf.UDFTest;

registerUDF(“test”, UDFTest.class,false);

重要步骤:

1:把刚刚产生的所有的.class文件都放到修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf下面

2:然后编译FunctionRegistry.java文件:编译通过以后,我们找到hive-exec-0.12.0-cdh5.0.0.jar里面的$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.class文件,我们把替换了。

这些路径都是在hive-exec-0.12.0-cdh5.0.0.jar解压后的org的路径下的。

其实把这两个步骤做了以后,重新把刚刚解压的hive-exec-0.12.0-cdh5.0.0.jar打成jar包,替换了hive里的,就可以了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值