在Hive Select查询中一般会扫描整个表的内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中我们关心的一部分数据,因此建表时引入了partition概念。分区是一种根据“分区列”(partition column)的值对表进行粗略划分的机制。Hive中的每个分区对应数据库中相应分区列的一个索引,每个分区对应着表下的一个目录,在HDFS上的表现形式与表在HDFS上的表现形式相同,都是以子目录的形式存在。
1. 什么是分区
分区是表的部分列的集合,可以为频繁使用的数据建立分区,这样查找分区中的数据时就不需要扫描全表,这对于提高查找效率很有帮助。创建分区本质上是在表的目录下创建目录,是对数据的细粒度的管理。
2. 为什么分区
数据量越来越大,hive查询会全表扫描,浪费时间。创建分区,只查询我们关心的那部分数据,提高查询效率。
3. 怎么分区
主要根据具体业务进行分区,数据会依照单个或多个列进行分区,通常按照时间、地域或者是商业维度进行分区。创建表的时候使用partitioned by (字段名 字段类型)进行分区,可以创建多级分区。
4. 分区的操作
4.1 创建一级分区
##创建数据库名为studentinfo
create database if not exists studentinfo;
##在数据库下创建大数据学生表bigdata_stu,并按照字段 year 进行分区
create table if not exists studentinfo.bigdata_stu(
id int,
name string,
sex tinyint