六、大数据之Hive-07

六、大数据之Hive-07

函数（Function）

1、系统内置函数

#查看系统自带的函数
hive> show functions;

#显示自带的函数的用法
hive> desc function upper;

#详细显示自带的函数的用法
hive> desc function extended upper;

2、自定义函数

​ （1）Hive自带了一些函数，比如max/min等，但是数量有限，自己可以通过自定义UDF来方便的拓展。

​ （2）当Hive提供的内置函数无法满足你的业务处理需要时，此时旧可以考虑使用用户自定义函数（UDF：user-defined function）。

​ （3）根据用户自定义函数类别分为一下三种：

​ a、UDF（User-Defined-Function） 一进一出

​ b、UDAF（User-Defined Aggregation Function）

​ 聚合函数：多进一出，类似于：count/max/min

​ c、UDTF（User-Defined Table-Generating Functions）

​ 一进多出，如lateral view explore()

​ （4）官方参考文档

​ https://cwiki.apache.org/confluence/display/Hive/HivePlugins

​ （5）编程步骤：

​ a、继承org.apache.hadoop.hive.ql.UDF

​ b、需要实现evaluate函数；evaluate函数支持重载

​ c、在hive的命令行窗口创建函数

#添加jar
add jar linux_jar_path

#创建function
create [temporary] function [dbname.]function_name AS class_name;

#在 hive 的命令行窗口删除函数
Drop [temporary] function [if exists] [dbname.]function_name;

​ （6）注意事项

​ UDF必须要有返回类型，可以返回null，但是返回类型不能为void；

3、自定义UDF函数

1、创建一个Manven工程Hive

2、导入依赖

<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>1.2.1</version>
</dependency>
</dependencies>

3、创建一个类

package com.lyinl.hive;
import org.apache.hadoop.hive.ql.exec.UDF;
public class Lower extends UDF {
public String evaluate (final String s) {
if (s == null) {
return null;
}
return s.toLowerCase();
} }

4、打成jar包上传到服务器/opt/module/jars/udf.jar

5、将jar包添加到hive的classpath

hive (default)> add jar /opt/module/datas/udf.jar;

6、创建临时函数于开发好的java class关联

hive (default)> create temporary function mylower as "com.lyinl.hive.Lower";

7、即可在hql中使用自定义的函数strip

hive (default)> select ename, mylower(ename) lowername from emp;