Hive常用内置函数、窗口函数及自定义函数

• 查看内置函数

show functions;

示例：

• 查看内置函数用法

desc function 函数名;

示例：

• 查看内置函数详细信息

desc function extended abs;

示例：

一、字符串函数

Hive字符串函数用于处理字符串类型的数据，包括截取、拼接、替换、转换大小写等操作。下面列举Hive中常用的字符串函数:

函数	介绍	示例
CONCAT(str1, str2, …)	用于拼接多个字符串
SUBSTR(str, start, length)	用于截取字符串中的一部分
REPLACE(str, search, replacement)	用于将字符串中的指定子串替换为另一个字符串
TRIM(str)	用于去除字符串两侧的空格
LOWER(str)	将字符串转换为小写
UPPER(str)	将字符串转换为大写
LENGTH(str)	用于获取字符串的长度
INSTR(str, substr)	用于获取字符串中子串的位置
REGEXP_EXTRACT(str, regexp)	用于从字符串中提取符合正则表达式的子串
SPLIT(str, delimiter)	用于将字符串按照指定的分隔符进行拆分
CONCAT_WS(separator, str1, str2, …)	用于拼接多个字符串，并在它们之间添加指定的分隔符
INITCAP(str)	将字符串中的每个单词的首字母转换为大写

二、数值函数

Hive数值函数用于处理数字类型的数据，包括加减乘除、求绝对值、取余数、四舍五入、向上取整、向下取整等操作。下面列举Hive中常用的数值函数：

函数	介绍	示例
ABS(n)	用于获取一个数的绝对值
CEIL(n)	用于将一个数向上取整
FLOOR(n)	用于将一个数向下取整
ROUND(n, d)	用于将一个数四舍五入到指定的小数位数
EXP(n)	用于获取一个数的指数函数值
RAND()	用于获取一个0到1之间的随机数
BIN(n)	用于将一个十进制数转换为二进制数
HEX(n)	用于将一个十进制数转换为十六进制数

三、日期函数

Hive提供了许多日期和时间函数，以下是一些常用的：

函数	介绍	示例
current_date()	返回当前日期，格式为 ‘yyyy-MM-dd’
current_timestamp()	返回当前时间戳，格式为 ‘yyyy-MM-dd HH:mm:ss.SSS’。
date_format(date, pattern)	将日期格式化为指定模式的字符串
year(date)	返回日期的年份
quarter(date)	返回日期的季度
month(date)	返回日期的月份
day(date)	返回日期的天数
datediff(enddate, startdate)	计算两个日期之间相差的天数
date_add(date, days)	给定日期加上指定天数
date_sub(date, days)	给定日期减去指定天数

四、其余常用函数

函数	介绍	示例
map_key(map<K,V>)	获取 Map 类型列中所有键的集合
map_value(map<K,V>)	获取Map 类型列中所有值的集合
stack(n, v1, v2, …, vn)	创建一个包含 n 个元素的栈
explode(array<T> a) \ explode(map<K,V> m)	将包含数组或Map类型的列中的元素分解成多行
json_tuple(jsonStr, p1, p2, …, pn)	从JSON字符串中提取指定的字段值
get_json_object(json_string, json_path)	从JSON字符串中提取指定的字段值
CAST(expression AS data_type)	将一个数据类型转换为另一个数据类型

• stack(n, v1, v2, …, vn)：

stack()函数在将多个列合并成一个列时，会将每个值都放在一个单独的行中。这意味着，输出结果的行数将是输入列数的n倍。如果需要将多个列按行合并到一个列中，可以考虑使用concat()函数或其他字符串函数。

五、窗口函数

• Hive窗口函数（Window Functions）是Hive中一种强大的分析函数，它们提供了一种在一组行中计算聚合值的方式。与常规聚合函数不同的是，窗口函数在查询结果中可以添加额外的列，这些列的值可以基于聚合函数的结果计算。
• 在Hive中，窗口函数使用OVER子句来指定要计算的行集合。在OVER子句中，可以指定窗口的边界条件（如窗口的大小、窗口的起始位置、窗口的结束位置等），以及要应用的聚合函数。一旦指定了OVER子句，Hive就会将结果集划分成指定的窗口，并计算每个窗口的聚合值。

5.1、语法

<window_function> ([expression]) OVER (
  [PARTITION BY partition_expression, ...]
  [ORDER BY sort_expression [ASC | DESC], ...]
  [ROWS BETWEEN frame_start AND frame_end]
)

其中，<window_function> 是窗口函数的名称，expression 是要进行聚合计算的列或表达式。OVER子句中可以使用以下参数：

• PARTITION BY：指定分组列，用于将结果集划分成不同的分组，每个分组内部进行聚合计算。
• ORDER BY：指定排序列，用于将每个分组内的行进行排序。
• ROWS BETWEEN：指定窗口的边界条件，即要计算的行集合。常见的窗口类型包括：
  • UNBOUNDED PRECEDING：窗口从分组的第一行开始。
  • CURRENT ROW：窗口从当前行开始。
  • UNBOUNDED FOLLOWING：窗口从分组的最后一行结束。
  • <number> PRECEDING：窗口向前移动指定行数。
  • <number>