UDF,UDAF,UDTF概念及常用函数

一、 UDF,UDAF,UDTF概念，常用函数：

UDF、UDAF和UDTF都是Hive中的用户自定义函数类型：

1. UDF：用户自定义 标量 函数(User-Defined Function)，用于处理单个数据项并返回单个结果的函数类型， 即一进一出 。例如，将一个字符串转为大写字母。

2. UDAF：用户自定义 聚合 函数(User-Defined Aggregation Function)，用于处理多个数据项并返回单个结果的函数类型， 即多进一出 。例如，计算一个列的平均值。

3. UDTF：用户自定义 表格 函数(User-Defined Table Function)，用于将一个输入转为多个输出的函数类型， 即一进多出（ 如 lateral view explode() ） 。例如，将一行数据拆分成多个单词。

以下是一些常用的Hive UDF、UDAF和UDTF函数：

UDF函数：

1. CONCAT：连接多个字符串。

2. UPPER：将字符串转为大写字母。

3. LOWER：将字符串转为小写字母。

4. TRIM：删除字符串中的空格。

5. SUBSTR：截取字符串的一部分。

UDAF函数：

1. AVG：计算一个数值列的平均值。

2. SUM：计算一个数值列的总和。

3. MAX：计算一个数值列的最大值。

4. MIN：计算一个数值列的最小值。

5. COUNT：计算一个数值列的行数。

UDTF函数：

1. EXPLODE：将一个数组或者一个Map类型的列拆分成多行。

2. LATERAL VIEW：将一个表格函数应用到一个查询中的每一行，产生多个输出行。

3. PARSE_URL：解析URL中的各个部分。

4. TRANSPOSE：将多个列转为行。

5. JSON_TUPLE：解析JSON格式的数据。

以上是一些常用的Hive函数，可以根据需要进行自定义函数的编写和注册。

二、自定义UDF、UDTF：

自定义 UDF、UDTF

三、 UDF要成为永久函数怎么做？如果不加temperory，函数下次还能用吗？

创建UDF函数的时候，加了temporary关键字的是临时函数，不加temporary关键字的是永久函数。

临时函数和永久函数的区别：

临时函数：加了temporary关键字的是临时函数，当退出系统时，这个函数也将消失，如果想要调用，需要登录后重新创建。而且临时UDF函数可以在任意库中调用，不受库限制。

永久函数：不加temporary关键字的是永久函数，永久性的UDF函数会一直存在，不会因为退出系统而消失。但其他库想要调用永久性UDF函数需要在函数名前加上库名。