hive sql常用函数总结

本文总结了Hive SQL中的一些常用函数,包括limit和offset的使用,四大排名函数ROW_NUMBER、RANK、DENSE_RANK、NTILE,以及DECODE、LAG和LEAD的基础用法。还介绍了datediff、mod函数,字符串剪切与拼接,累积求和,LEFT/RIGHT/FULL JOIN的区别和联系,并提到了CASE WHEN与聚合函数的结合使用,最后讨论了数据表的生命周期管理。
摘要由CSDN通过智能技术生成

1. limit 与offset用法

1. LIMIT [参数1]--m,参数2--n; #表示从跳过m条数据开始取n行数据 #参数1为可选参数,表示跳过m条数据(默认为0),

-- eg:1表示从第二行开始 #参数2为必选参数,表示取几行数据
-- eg1: 
SELECT * FROM table LIMIT 5; //检索前 5 个记录行
等价于
SELECT * FROM table LIMIT 0,5; //检索前 5 个记录行

-- eg2: 
SELECT * FROM table LIMIT 5,10; // 检索记录行 6-15 ,为了检索某行开始到最后的所有数据,可以设置第二个参数为-1

-- eg3:
 SELECT * FROM table LIMIT 95,-1; // 检索记录行 96-last
//注意:这个有时会报错

2. LIMIT OFFSET

语法:

--  LIMIT 参数1--m OFFSET 参数2--n 
-- 表示跳过n个数据,取m个数据 
-- 参数1表示读取m条数据 
-- 参数2表示跳过n个数据 
-- eg4: 
SELECT * FROM table 
LIMIT 2 OFFSET 1; //跳过1条数据读取2条数据,即读取2-3条数据 

3. 区别

-- 直接看例子

-- eg5: 
SELECT * FROM table LIMIT 2,1; //跳过2条数据读取1条数据,即读取3条数据

SELECT * FROM table LIMIT 2 OFFSET 1; //跳过1条数据读取2条数据,即读取2-3
### HiveSQL 常用内置函数 #### 数学函数 Hive 提供了一系列用于数值计算的数学函数。这些函数可以处理基本算术运算以及更复杂的数学操作。 - `ABS(x)` 返回绝对值[^2] - `CEIL(x)` 或者 `CEILING(x)` 向上取整返回最小的大于等于 x 的整数[^2] - `FLOOR(x)` 向下取整返回最大的小于等于 x 的整数 ```sql SELECT ABS(-10), CEIL(3.14), FLOOR(3.14); ``` #### 字符串函数 字符串处理是数据分析中的常见需求,因此 Hive 支持多种字符串操作函数: - `CONCAT(str1,str2,...)` 将多个字符串连接成一个字符串 - `UPPER(str)` 把给定的字符串转为大写形式 - `LOWER(str)` 把给定的字符串转为小写形式 ```sql SELECT CONCAT('hello', 'world'), UPPER('hive'), LOWER('HIVE'); ``` #### 聚合函数 为了方便汇总统计数据,Hive 实现了几种重要的聚合功能: - `SUM(col)` 计算列 col 所有记录之和 - `COUNT(*)` 统计表中总行数;`COUNT(DISTINCT col)` 只统计不同值的数量 - `AVG(col)` 平均值计算 ```sql SELECT SUM(salary), COUNT(*), AVG(age) FROM employees; ``` #### 日期时间函数 对于涉及时间和日期的操作,Hive 提供了一些实用工具来简化这类任务: - `FROM_UNIXTIME(unixtime[,format])` Unix 时间戳转换为人可读的时间格式 - `UNIX_TIMESTAMP([date][,pattern])` 获取当前Unix时间戳或将特定日期转化为Unix时间戳 ```sql SELECT FROM_UNIXTIME(UNIX_TIMESTAMP(), '%Y-%m-%d %H:%i:%s') AS now_time; ``` #### 窗口函数 除了上述标准函数外,Hive 还引入了窗口函数的概念,允许执行更加灵活高效的查询逻辑。通过定义不同的窗口框架,可以在不改变原始数据集的情况下实现复杂的关系型计算。 - 使用 `ROW_NUMBER()` 函数配合 `OVER(PARTITION BY ... ORDER BY ...)`, 对分区内每条记录分配唯一编号[^3] ```sql WITH ranked_activities AS ( SELECT *, ROW_NUMBER() OVER (PARTITION BY id, activity, cust_group ORDER BY expired_at DESC) as rn FROM tb_activity_full ) SELECT * FROM ranked_activities WHERE rn = 1; ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值