Hive函数——UDF

内置函数

查看系统自带的函数

 show functions;

显示自带的函数的用法

desc function upper;

详细显示自带的函数的用法

desc function extended upper;

相关内置函数可参考:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

自定义函数

Hive 自带了一些函数,比如:max/min等,但是数量有限,可以通过自定义UDF来方便的扩展。
当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。

根据用户自定义函数类别分为以下三种:
(1)UDF(User-Defined-Function)
	一输入一输出
(2)UDAF(User-Defined Aggregation Function)
	聚集函数,多输入一输出
	类似于:count/max/min
(3)UDTF(User-Defined Table-Generating Functions)
	一输入多输出
	如lateral view explore()
官方文档地址

https://cwiki.apache.org/confluence/display/Hive/HivePlugins

编程步骤:
(1)继承org.apache.hadoop.hive.ql.UDF
(2)需要实现evaluate函数;evaluate函数支持重载;
注意事项
(1)UDF必须要有返回类型,可以返回null,但是返回类型不能为void;
(2)UDF中常用Text/LongWritable等类型,不推荐使用java类型;

通过java进行UDF开发实例

1、导包,引入依赖
<repositories>
    <repository>
        <id>cloudera</id>
 <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.1.0-cdh5.14.0</version>
    </dependency>
</dependencies>
2、开发java类继承UDF,并重载evaluate 方法
public class MyUDF extends UDF {
    public Text evaluate(final Text s) {
        if (null == s) {
            return null;
        }
        //返回大写字母
        return new Text(s.toString().toUpperCase());

    }
}
3、打包,上传到hive的lib目录下

上传jar包并将jar包进行重命名,这里命名为MyUDF.

4、在hive客户端添加jar包

add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/MyUDF.jar;

5、设置函数与我们的自定义函数关联
create temporary function touppercase as 'com.fgm.udf.MyUDF';
6、使用自定义函数

select touppercase (‘abc’);

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值