Hive内置函数和自定义函数以及基本实例

Hive函数

1.内置函数

1）查看系统自带的函数 – hive> show functions;

2）显示自带的函数的用法 – hive> desc function upper;

3）详细显示自带的函数的用法 – hive> desc function extended upper;

2.Hive自定义函数

1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以 通过自定义UDF来方便的扩展。

2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考 虑使用用户自定义函数

自定义函数分三类：

（1）UDF（User-Defined-Function）

​ 一进一出

（2）UDAF（User-Defined Aggregation Function）

​ 聚集函数，多进一出

​ 类似于：count/max/min

（3）UDTF（User-Defined Table-Generating Functions）

​ 一进多出

​ 如lateral view explore()

编程步骤：

​ （1）继承org.apache.hadoop.hive.ql.UDF

​ （2）需要实现evaluate函数；evaluate函数支持重载；

注意事项：

​ （1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；

​ （2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

3.简单UDF实例

第一步配置pom.xml文件

cloudera https://repository.cloudera.com/artifactory/cloudera-repos/ org.apache.hadoop hadoop-common 2.6.0-cdh5.14.0 org.apache.hive hive-exec 1.1.0-cdh5.14.0 org.apache.maven.plugins maven-compiler-plugin 3.0 1.8 1.8 UTF-8 org.apache.maven.plugins maven-shade-plugin 2.2 package shade *:* META-INF/*.SF META-INF/*.DSA META-INF/*/RSA

第二步**：开发java类****继承UDF，并重载evaluate** 方法

public class ItcastUDF extends UDF {
public Text evaluate(final Text s) {
if (null == s) {
return null;
}
//返回大写字母 return new Text(s.toString().toUpperCase());

​ }
}

第三步：将写好的项目打包上传到桌面上

第四步：将写好的jar包从linux添加到Hive上

重命名我们的jar包名称

cd /export/servers/hive-1.1.0-cdh5.14.0/lib

mv original-day_06_hive_udf-1.0-SNAPSHOT.jar udf.jar

hive的客户端添加我们的jar包

add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/udf.jar;

第五步**：设置函数与我们的自定义函数关联**

创建临时函数

create temporary function tolowercase as ‘cn.itcast.udf.ItcastUDF’;

删除临时函数

drop temporary function tolowercase

创建永久函数

create function tolowercase1 as ‘cn.itcast.udf.ItcastUDF’;

删除永久函数

drop function tolowercase1;

第六步**：使用自定义函数**

select tolowercase(‘abc’);