HIve之分区

一. 分区的意义

将表内的数据按照一定的业务进行划分，可以减少数据的冗余，同时可以提高分区数据查询的效率。

二. 创建hive分区表

1.创建分区表，分区字段为日期date

create table my_partition_table(id int, name string) partitioned by(partition_date string) row format delimited fields terminated by ",";

2.查看表详情

方式一: show create table my_partition_table;

方式二: desc formatted my_partition_table;

3. 分区插入数据

load data local inpath "/home/temp/student.txt" into table my_partition_table partition (partition_date='2020-05-19');

4.hdfs中查看数据

5.查看表的分区

show partitions my_partition_table;

4. 根据分区查数据

select * from my_partition_table where partition_date = "2020-05-19";

三. 动态分区和静态分区

1.Hive的静态分区，实际上就是手动指定分区的值为静态值，这种对于小批量的分区插入比较友好。也就是手动指定了分区的值。

load data local inpath "/home/temp/student.txt" into table my_partition_table partition (partition_date='2020-05-19');

2.Hive的动态分区，其实就是把静态分区中的分区值设置为动态的值，就可以了，也就是动态指定分区字段的值，对于大批量的分区插入是一个很方便的用法

insert overwrite table demo_dynamic_partition 
partition(year=year, month=month, 
day=day, hour=hour) 
select user_id, user_name, 
trade_year as year ,
trade_month as month,
trade_day as day,
trade_hour as hour  
from user_demo 

当然动态分区需要进行一些设置

- Hive默认配置值
-- 开启或关闭动态分区
hive.exec.dynamic.partition=false;
-- 设置为nonstrict模式，让所有分区都动态配置，否则至少需要指定一个分区值
hive.exec.dynamic.partition.mode=strict;
-- 能被mapper或reducer创建的最大动态分区数，超出而报错
hive.exec.max.dynamic.partitions.pernode=100;
-- 一条带有动态分区SQL语句所能创建的最大动态分区总数，超过则报错
hive.exec.max.dynamic.partitions=1000;
-- 全局能被创建文件数目的最大值，通过Hadoop计数器跟踪，若超过则报错
hive.exec.max.created.files=100000;

3.动态分区和静态分区联合使用

partition(year="2020", month="05", 
day=day, hour=hour) 
select user_id, user_name, 
trade_year as year ,
trade_month as month,
trade_day as day,
trade_hour as hour  
from user_demo 
where trade_year="2020" 
and trade_month="04" ```

三. 附加的一些表语句

1.修改分区的语句

a.把一个分区打包成一个har包
  alter table employees archive partition (country="china",state="Asia")
b.把一个分区har包还原成原来的分区
  alter table employees unarchive partition (country="china",state="Asia")
c.保护分区防止被删除
   alter table employees partition (country="china",state="Asia") enable no_drop
d.保护分区防止被查询
    alter table employees partition (country="china",state="Asia") enable offline
e.允许分区删除和查询
   alter table employees partition (country="china",state="Asia") disable no_drop
   alter table employees partition (country="china",state="Asia") disable offline

2.快速创建表

创建表，携带数据
create table employees1 as select * from employees1
创建表，携带表结构
create table employees2 like employees