Hive笔记 ---之hive 分区表 分桶表 详解

--- 本章节目录

分区表   （静态分区  动态分区）

分桶表

抽样查询

分区表

   数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的

hive中处理的数据在HDFS中 , select * from tb_name where dt=2020-09-03 ;
查询表中的数据是加载HDFS中对应表文件夹下的数据 ,文件夹下的数据很多,将数据全部加载以后再筛选过滤出数据, 显然效率低 ,Hive中的分区表起始就是根据某中维度将数据分文件夹管理 ,当安装这种维度查询的时候,直接从对应的文件夹下加载数,效率更高                  

   补充: 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集 在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多

分区表：静态分区表 动态分区表

1> 静态分区表

        1.1一级分区   

下面数据为订单数据 每天产生的订单信息

 orders.txt
01,2020-02-14,100
02,2020-02-14,100
03,2020-02-14,200
04,2020-02-14,200
05,2020-02-14,30
06,2020-02-14,200

 orders2.txt
11,2020-02-15,20
14,2020-02-15,200
15,2020-02-15,20
16,2020-02-15,100
17,2020-02-15,200
18,2020-02-15,200

没有分区的情况下

--建表
create table  tb_order(
oid int ,
dt string ,
cost double 
)
row format delimited fields terminated by "," ;

--加载每天的数据到表中
load data local inpath "/demo/orders.txt" into table  tb_order ;
load data local inpath "/demo/orders2.txt" into table  tb_order ;
对应的数据会被加载到表对应的文件夹中 ,当我们执行如下查询的时候 ,先加载两个文件数据,再过滤
select * from tb_order where dt='2020-02-14' ; --两个文件

 静态分区

 

create table  tb_part_order(
oid int ,
dt string ,
cost double 
)
partitioned  by (dy string)
row format delimited fields terminated by "," ;
 
 
load data local inpath "/hive/data/orders.txt" into table  tb_part_order  partition(dy="02-14");
load data local inpath "/hive/data/orderss.txt" into table  tb_part_order  partition(dy="02-15");
	
0: jdbc:hive2://lin