Hive常用函数大全正则表达式大全

Hive函数与数据清洗操作指南

最新推荐文章于 2025-03-02 13:54:40 发布

原创最新推荐文章于 2025-03-02 13:54:40 发布 · 1.8k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#hive #正则表达式 #hadoop

Java 专栏收录该内容

111 篇文章

订阅专栏

本文详细介绍了Hive的各种数学、日期、条件、字符、聚合、表生成、类型转换和集合函数，以及数据清洗的操作，如重置Kafka消费者组和使用Hive进行行列转换。此外，还涵盖了正则表达式的应用。

Hive函数大全

1数学函数

ceil 向上取整数
floor 向下取整数
abs 绝对值函数
bin  二进制函数
hex 十六进制函数
bround(DOUBLE a, INT d) 银行家舍入法,保留d位小数
rand ()随机值
round() 保留d位小数

2.日期函数

from_unixtime  时间戳转日期
unix_timestamp 获取时间戳
current_date 当前日期
to_date   转日期
datediff(string enddate, string startdate) 返回结束日期减去开始日期的天数 返回天数
year 获取年
date_format(current_date(),‘MM.dd’) 按指定格式返回时间date 如：date_format(“2016-06-22”,“MM-dd”)=06-22

3.条件函数

if （>,1,2）
case  (>,when 1 then 2)
isnull  返回boolean
isnotnull 返回boolean
nvl (null,1) ===1

4.字符函数

regexp_extract  正则表达式解析函数
regexp_replace(‘hello,world’,‘o|l’,‘e’); 正则表达式替换
substr,substring 字符串截取
reverse  字符串翻转函数
trim 去空格
split 分割字符串函数
instr(xx,x) 返回数字 没有返回0

5.聚合函数

max  最大值
min 最小值
count 数字
sum  求和
avg 平均

6.表生成函数

explode（ARRAY） 每行对应数组中的一个元素

七.类型转换函数

cast(expr as) 将expr转换成type类型 如：cast(“1” as BIGINT) 将字符串1转换成了BIGINT类型，如果转换失败将返回NULL
binary 转换成二进制

八、集合函数

size(Array)         获取集合数量
map_keys(Map<K.V>) 返回map中的所有key
array_contains(Array, value) 如该数组Array包含value返回true。否则返回false
sort_array(Array) 排序函数

数据清洗

组重置

kafka-consumer-groups.sh --bootstrap-server 192.168.64.128:9092 --group cm --reset-offsets --all-topics --to-earliest

浏览器看yarn

http://192.168.64.128:8088/cluster#/

行转列

max(case when then  else end)  group by

列转行

max( as ) group by union all