hive的UDF开发和永久加载方式

编写自定义函数

1、新建一个java项目,创建lib文件夹

2、导入依赖jar包:hive.exec-*.jar

3、创建一个类,继承UDF类,重写evaluate()方法

加载自定义函数

1、导出jar包(只需要勾选src下的内容)

2、将导出的jar包上传到linux系统中

3、加载jar包(在hive中操作)

加载的四种方式:

第一种:使用add jar [classPath]语句

#加载jar
add jar [classPath]

#创建函数
create temporary function [functionName] as [calssPath]

这种方式不建议在生产环境中使用,通过该方式添加的jar文件只存在于当前会话中,当会话关闭后不能够继续使用该jar文件,最常见的问题是创建了永久函数到metastore中,再次使用该函数时却提示ClassNotFoundException。所以使用该方式每次都要使用add jar [classPath]语句添加相关的jar文件到classPath中。

第二种:是修改hive-site.xml文件

修改参数hive.aux.jars.path的值指向UDF文件所在的路径。该参数需要手动添加到hive-site.xml文件中。

<property>
    <name>hive.aux.jars.path</name>
    <value>file:///[path],file:///[path]</value>
</property>

第三种:是在${HIVE_HOME}下创建auxlib目录,将UDF文件放到该目录中,这样hive在启动时会将其中的jar文件加载到classpath中。(推荐使用这种方式)

第四种:是设置HIVE_AUX_JARS_PATH环境变量,变量的值为放置jar文件的目录。

可以拷贝${HIVE_HOME}/conf中的hive-env.sh.template为hive-env.sh文件,并修改最后一行:

export HIVE_AUX_JARS_PATH=[classPath]

或者在系统中直接添加HIVE_AUX_JARS_PATH环境变量。

第五种:hive源码中编写自定义函数,重新打包hive源码,实现永久加载UDF,没有亲自测试过,不建议这样使用,可能会影响hive正常使用。

 

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值