HIve的UDF,UDAF,UDTF函数的用法

1.1 自定义函数描述

1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。

2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。

3)根据用户自定义函数类别分为以下三种:

(1)UDF(User-Defined-Function)

一进一出

(2)UDAF(User-Defined Aggregation Function)

聚集函数,多进一出

类似于:count/max/min

(3)UDTF(User-Defined Table-Generating Functions)

一进多出

如lateral view explore()

4)官方文档地址

https://cwiki.apache.org/confluence/display/Hive/HivePlugins

5)编程步骤:

(1继承org.apache.hadoop.hive.ql.UDF

(2需要实现evaluate函数;evaluate函数支持重载;

6)注意事项

(1)UDF必须要有返回类型,可以返回null,但是返回类型不能为void;

(2UDF中常用Text/LongWritable类型,不推荐使用java类型;

1.2、自定义函数开发案例

1)创建一个java工程,并创建一个lib文件夹

2)将hive的jar包解压后,将apache-hive-1.2.2-bin\lib文件下的jar包都拷贝到java工程中。

3)创建一个类,代码如下:

package com.zhang.hive;

import org.apache.hadoop.hive.ql.exec.UDF;

/**
 * Created by: ThinkPad 2018/9/1
 */
public class Lower extends UDF{
    public String evaluate(final String s){
        if(s == null){
            return null;
        }

        return s.toString().toLowerCase();
    }
}

4)打成jar包上传到服务器/opt/module/jars/udf.jar(这里IDEA如何打jar就不赘述了,这里建议用maven打包)

5)将打开hive的命令行窗口,将jar包添加到hive的classpath

hive (default)> add jar /opt/module/jars/udf.jar;

6)创建临时函数与开发好的java class关联

hive (default)> create temporary function my_lower as "com.zhang.hive.Lower";

7)即可在hql中使用自定义的函数strip 

hive (default)> select ename, my_lower(ename) lowername from emp;

尖叫提示:如果退出了hive命令行,该函数就会失效,需要重新定义。

好了,以上就是hive自定义函数的一个介绍以及用法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值