Hive函数
内置函数
查看系统自带的函数
show functions;
显示自带的函数的用法
desc function upper;
详细显示自带的函数的用法
desc function extended upper;
相关内置函数可参考:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
自定义函数
Hive 自带了一些函数,比如:max/min等,但是数量有限,可以通过自定义UDF来方便的扩展。
当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。
根据用户自定义函数类别分为以下三种:
(1)UDF(User-Defined-Function)
一输入一输出
(2)UDAF(User-Defined Aggregation Function)
聚集函数,多输入一输出
类似于:count/max/min
(3)UDTF(User-Defined Table-Generating Functions)
一输入多输出
如lateral view explore()
官方文档地址
https://cwiki.apache.org/confluence/display/Hive/HivePlugins
编程步骤:
(1)继承org.apache.hadoop.hive.ql.UDF
(2)需要实现evaluate函数;evaluate函数支持重载;
注意事项
(1)UDF必须要有返回类型,可以返回null,但是返回类型不能为void;
(2)UDF中常用Text/LongWritable等类型,不推荐使用java类型;
通过java进行UDF开发实例
1、导包,引入依赖
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
</dependencies>
2、开发java类继承UDF,并重载evaluate 方法
public class MyUDF extends UDF {
public Text evaluate(final Text s) {
if (null == s) {
return null;
}
//返回大写字母
return new Text(s.toString().toUpperCase());
}
}
3、打包,上传到hive的lib目录下
上传jar包并将jar包进行重命名,这里命名为MyUDF.
4、在hive客户端添加jar包
add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/MyUDF.jar;
5、设置函数与我们的自定义函数关联
create temporary function touppercase as 'com.fgm.udf.MyUDF';
6、使用自定义函数
select touppercase (‘abc’);