大数据开发学习之Hive的静态分区与动态分区

最新推荐文章于 2024-03-07 15:04:54 发布

lmseo5hy

最新推荐文章于 2024-03-07 15:04:54 发布

阅读量574

点赞数

分类专栏：大数据培训文章标签：大数据开发

本文链接：https://blog.csdn.net/lmseo5hy/article/details/81130994

版权

大数据培训专栏收录该内容

124 篇文章 41 订阅 ¥19.90 ¥99.00

订阅专栏

本文探讨了Hive的分区策略，包括静态分区和动态分区。静态分区适用于值确定的情况，而动态分区则根据输入数据动态确定分区。在使用动态分区时需要注意，过多的分区会导致reducer资源消耗过大，且在严格模式下，特定类型的查询会被禁止，如未包含分区字段的查询、无条件的笛卡尔积join和无limit的order by查询。

摘要由CSDN通过智能技术生成

分区是hive存放数据的一种方式。将列值作为目录来存放数据，就是一个分区。这样查询时使用分区列进行过滤，只需根据列值直接扫描对应目录下的数据，不扫描其他不关心的分区，快速定位，提高查询效率。分动态和静态分区两种：

1. 静态分区：若分区的值是确定的，那么称为静态分区。新增分区或者是加载分区数据时，已经指定分区名。

create table if not exists day_part1(

　　uid int,

　　uname string

　　)

　　partitioned by(year int,month int)

　　row format delimited fields terminated by '\t';

　　##加载数据指定分区

　　load data local inpath '/root/Desktop/student.txt' into table day_part1 partition(year=2017,month=04);

　　##新增分区指定分区名

　　alter table day_part1 add partition(year=2017,month=1) partition(year=2016,month=12);

2. 动态分区：分区的值是非确定的，由输入数据来确定

2.1 动态分区的相关属性：

了解本专栏