Hive分区、分桶

最新推荐文章于 2024-02-27 16:32:47 发布

youzi-qiu7

最新推荐文章于 2024-02-27 16:32:47 发布

阅读量336

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/youzi_qiu7/article/details/110928522

版权

本文介绍了Hive的分区技术，强调了分区在提高查询性能方面的作用，详细讲解了静态分区，包括单级和多级分区的概念。此外，还探讨了Hive的分桶特性，指出分桶能提升查询处理效率并优化抽样操作，主要通过哈希函数实现数据分桶。

摘要由CSDN通过智能技术生成

Hive分区、分桶

一、Hive分区
二、Hive分桶

一、Hive分区

分区主要用于提高性能

1.分区列的值将表划分为一个个的文件夹
2.查询时语法使用"分区"列和常规列类似
3.查询时Hive会只从指定分区查询数据，提高查询效率

1、静态分区

1.单级分区

--创建单级分区表
create table if not exists employee_partition(
name string,
work_place array<string>,
sex_age struct<sex:string,age:int>,
skills_score map<string,int>,
depart_title map<string,array<string>>
)
partitioned by (month string)
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
stored as textfile;

alter table employee_partition add partition(month