文章目录
内置函数
Hive自定义函数
UDF开发实例
内置函数
查看系统自带函数:
show functions;
显示自带的函数的用法:
desc function upper;
详细显示自带的函数的用法:
desc function extended upper;
Hive自定义函数
1.Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。
2.当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。
3.根据用户自定义函数类别分为以下三种:
UDF(User-Defined-Function):一进一出
UDAF(User-Defined Aggregation Function):聚集函数,多进一出,类似于:count/max/min
UDTF(User-Defined Table-Generating Functions):一进多出
编程步骤:
继承org.apache.hadoop.hive.ql.UDF
需要实现evaluate函数;evaluate函数支持重载;
注:若要使用普通java方法进行编程,详细点击:
Hive通过reflect方法调用普通java方法
5.注意事项
UDF必须要有返回类型,可以返回null,但是返回类型不能为void;
UDF中常用Text/LongWritable等类型,不推荐使用java类型;
UDF开发实例
创建maven java 工程,导入pom文件
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0-cdh5.14.0</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.1.0-cdh5.14.0</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
<encoding>UTF-8</encoding>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.2</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*/RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
开发java类继承UDF,并重载evaluate 方法
public class ItcastUDF extends UDF {
public Text evaluate(final Text s) {
if (null == s) {
return null;
}
//返回大写字母
return new Text(s.toString().toUpperCase());
}
}
将我们的项目打包,并上传到hive的lib目录下
在这里插入图片描述
添加我们的jar包
重命名我们的jar包名称:
cd /export/servers/hive-1.1.0-cdh5.14.0/lib
mv original-day_06_hive_udf-1.0-SNAPSHOT.jar udf.jar
hive的客户端添加我们的jar包:
add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/udf.jar;
设置函数与我们的自定义函数关联
创建临时函数:
create temporary function tolowercase as 'cn.itcast.udf.ItcastUDF';
补充命令:
删除临时函数:
drop temporary function tolowercase;
创建永久函数:
create function tolowercase1 as 'cn.itcast.udf.ItcastUDF';
删除永久函数:
drop function tolowercase1;
使用自定义函数
select tolowercase('abc');