Hive分区

1、为什么要分区

       随着系统的运行，数据量越来越大，而hive的查询时全表扫描，这样将会导致大量的不必要的数据扫描，从而查询效率低下。
引进分区技术，避免全表扫描，提高查询效率。分区：partition
可以将用户的整个表的数据划分成多个子目录（子目录以分区变量的值来命名）

2、怎么分区 

通常使用年、月、日、地区等进行分区，具体和业务相关
hive的分区和mysql的分区是有区别的

     hive的分区使用的表外字段
     mysql的分区使用的表内的字段

语法：

[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]

注意点：

1. hive的分区名不区分大小写
2. hive分区的本质是在表对应的目录下面创建目录，分区字段是一个伪列，不存在数据中
3. 一张表中可以有一个或者多个分区，分区下面也可以有一个或者多个分区（多级分区的情况）

建表语句：

create table stu1(
    name string,
    age int
)
partitioned by (privince string)
;

为分区表加载数据 这是一个分区表，加载数据时要指定分区

load data local inpath '/etc/profile' into table stu1 partition (province = 'beijing');

3、分区的细节

1、hive的分区名不区分大小写
2、hive分区的本质是在表对应的目录下面创建目录，分区字段是一个伪列，不存在数据中
3、一张表中可以有一个或者多个分区，分区下面也可以有一个或者多个分区（多级分区的情况）
4、可以查询分区信息，但是我们的分区字段只存在于元数据中