Hive分区分桶的概念与区别

一、Hive 数据分区

1，Hive 数据分区的概念

在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。Hive的分区是为了辅助查询，缩小查询范围，加快数据的检索速度和对数据按照一定的规格和条件进行管理。

2，分区的意义

现在科技的发展，数据量越来越大了，所以大数据平台基于HDFS在处理数据的时候就比较困难，Hive用SQL代码转换MapReduce 作业，并提交到 Hadoop 集群执行。Hve的分区表将数据分成多个分区，每个分区对应一个分区列的值，每个分区在 HDFS 里面其实就是表目录下的一个子目录。如果在查询的时候只需要特定分区的数据，那么 Hive 只会遍历该分区目录下的数据。这样能够可以避免全表扫描减低 IO，提升查询性能。

3，分区表的创建

CREATE TABLE table_name (column1 data_type, column2 data_type) 
PARTITIONED BY (partition1 data_type, partition2 data_type,….);

// PARTITIONED BY Hive表分区关键字

4，Hive 分区类型

（1）动态分区

1. 对分区表的一次性插入称为动态分区。
2. 动态分区表从非分区表加载数据。
3. 在加载数据的时候，动态分区比静态分区会消耗更多时间。
4. 如果需要存储到表的数据量比较大，那么适合用动态分区。
5. 假如要对多个列做分区，但又不知道有多少个列，那么适合使用动态分区。
6. 动态分区不需要 where 子句使用 limit,不能对动态分区执行修改。
7. 可以对内部表和外部表使用动态分区。
8. 使用动态分区之前，需要把模式修改为非严格模式。set hive.mapred.mode=nostrict。