Hive查询系列之分区表与分桶表

最新推荐文章于 2024-11-26 22:25:57 发布

weixin_49063354

最新推荐文章于 2024-11-26 22:25:57 发布

阅读量993

点赞数 2

分类专栏： Hadoop hive 文章标签： hive

本文链接：https://blog.csdn.net/weixin_49063354/article/details/108150088

版权

本文详细介绍了Hive中的分区表和分桶表。分区表通过业务需要分割数据，提高查询效率，包括基本操作、二级分区及动态分区调整。分桶表则进一步细化数据管理，对数据进行哈希分桶，便于管理和优化查询。

摘要由CSDN通过智能技术生成

Hive查询之分区表与分桶表

1 分区表

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文

件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过

WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

1.1 分区表基本操作

1）引入分区表（需要根据日期对日志进行管理,
通过部门信息模拟）

dept_20200401.log
dept_20200402.log
dept_20200403.log

2）创建分区表语法

hive (default)> create table dept_partition(
deptno int, dname string, loc string
)
partitioned by (day string)
row format delimited fields terminated by '\t';

注意：分区字段不能是表中已经存在的数据，可以将分区字段看作表的伪列。

3）加载数据到分区表中

（1） 数据准备

dept_20200401.log

10	ACCOUNTING	1700
20	RESEARCH	1800

dept_20200402.log

30	SALES	1900
40	OPERATIONS	1700

dept_20200403.log

50	TEST	2000
60	DEV	1900

2） 加载数据

hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200401.log' into table dept_partition partition(day='20200401');
hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200402.log' into table dept_partition partition(day='20200402');
hive (default)> load data local inpath '/opt/module/hive/datas/dept_20200403.log' into table dept_partition partition(day='20200403');

注意：分区表加载数据时，必须指定分区

4）查询分区表中数据

单分区查询

hive (default)> select * from dept_partition where day = '20200401';
OK
dept_partition.deptno	dept_partition.dname	dept_partition.loc	dept_partition.day
10	ACCOUNTING	1700	20200401
20	RESEARCH	1800	20200401
Time taken: 2.142 seconds, Fetched: 2 row(s)

多分区联合查询

hive (default)> select * from dept_partition where day = '20200401' union select * from dept_partition where day = '20200402' union select *

最低0.47元/天解锁文章