hive的分区表

最新推荐文章于 2024-08-20 19:18:56 发布
最新推荐文章于 2024-08-20 19:18:56 发布
阅读量95 收藏
点赞数
原文链接：http://www.cnblogs.com/xuziyu/p/10537759.html
版权

hive的分区表
分区表使用背景：
如果一个表中数据很多，我们查询时就很慢，耗费大量时间，如果要查询其中部分数据该怎么办呢，
这时我们引入分区的概念

可以根据PARTITIONED BY创建分区表，
1.一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下；


2.分区是以伪字段（伪列）的形式在表结构中存在，通过describe tablename（或者desc [formatted ]tablename）命令可以查看到字段存在，
但是该字段不存放实际的数据内容，仅仅是分区的表示。


3.分区建表分为2种，一种是单分区，也就是说在表文件夹目录下只有一级文件夹目录。
另外一种是多分区，表文件夹下出现多文件夹嵌套模式。

 

CREATE TABLE `emp_1`(
`empno` int,
`ename` string,
`job` string,
`mgr` int,
`hiredate` string,
`sal` double,
`comm` double,
`deptno` int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LOCATION
'hdfs://hadoop001:9000/user/hive/warehouse/default.db/emp'

CREATE TABLE `order_partition`(
`order_no` string,
`event_time` string)
PARTITIONED BY (
`event_month` string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LOCATION
'hdfs://hadoop001:9000/user/hive/warehouse/d6_hive.db/order_partition'（默认）

 

单分区：

hive> CREATE TABLE order_partition (

> order_number string,

> event_time string

> )

> PARTITIONED BY (event_month string);

OK

将order.txt 文件中的数据加载到order_partition表中（加载数据的用法可参照该地址）

hive> load data local inpath '/home/hadoop/order.txt' overwrite
into table order_partition partition (event_month='2014-05');

 


hive> select * from order_partition;

 

10703007267488 2014-05-01 06:01:12.334+01 2014-05

10101043505096 2014-05-01 07:28:12.342+01 2014-05

10103043509747 2014-05-01 07:50:12.33+01 2014-05

10103043501575 2014-05-01 09:27:12.33+01 2014-05

10104043514061 2014-05-01 09:03:12.324+01 2014-05


我们在hive每创建一个分区，mysql元数据里就会有相应的元数据建立，一般会在patition这张表里有显示。
当我们在hive里load数据进入hive以后，HDFS上相应的也会有数据，HDFS的存储目录可以通过在hive上执行
desc formatted tableanme 来查看 location

/user/hive/warehouse/d6_hive.db/order_partition
/user/hive/warehouse/库名.db/表名

如果在建表时不特别指定location 那么以上的目录就是默认目录。

此时查看HDFS上的/user/hive/warehouse/d6_hive.db/order_partition这个目录就能看到2014-05这个分区。
而在这个分区之下就是我们的弹性体数据文件，也就是我们load的文件。


那根据以上的操作我们是不是可以直接在HDFS的/user/hive/warehouse/d6_hive.db/order_partition目录下
直接建分区，然后把要load的文件用put命令上传到在HDFS上新建的分区。根据以往的建表经验，只要把数据放到
HDFS的相应目录上，在hive表中就能查到数据。但是在分区表中这样是行不通的。
解释如下:
创建分区，也就是说在HDFS文件夹目录下会有一个分区目录，
那么我们是不是直接可以在HDFS上创建一个目录，再把数据加载进去呢？


[hadoop@zydatahadoop001 ~]$ hadoop fs -mkdir -p /user/hive/warehouse/order_partition/event_month=2014-06

[hadoop@zydatahadoop001 ~]$ hadoop fs -put /home/hadoop/order.txt /user/hive/warehouse/order_partition/event_month=2014-06


上传完成后查看表order_partition
hive
> select * from order_partition

OK

10703007267488 2014-05-01 06:01:12.334+01 2014-05

10101043505096 2014-05-01 07:28:12.342+01 2014-05

10103043509747 2014-05-01 07:50:12.33+01 2014-05

10103043501575 2014-05-01 09:27:12.33+01 2014-05

10104043514061 2014-05-01 09:03:12.324+01 2014-05

Time taken: 2.034 seconds, Fetched: 5 row(s)


可以看到并没有看到我们刚刚通过hdfs上传后的数据，
原因是我们将文件上传到了hdfs，hdfs是有了数据，
但hive中的元数据中还没有，在hive中执行如下命令更新

hive>msck repair table order_partition;
还有一种方法就是在元数据MySQL中新增分区
MYSQL>ALTER TABLE order_partition ADD IF NOT EXISTS PARTITION (event_month='2014-06') ;

hive>ALTER TABLE order_partition ADD IF NOT EXISTS PARTITION (event_month='2014-06') ;（hive里执行也可以）


再次查看数据

hive> select * from order_partition;

OK

10703007267488 2014-05-01 06:01:12.334+01 2014-05

10101043505096 2014-05-01 07:28:12.342+01 2014-05

10103043509747 2014-05-01 07:50:12.33+01 2014-05

10103043501575 2014-05-01 09:27:12.33+01 2014-05

10104043514061 2014-05-01 09:03:12.324+01 2014-05

10703007267488 2014-05-01 06:01:12.334+01 2014-06

10101043505096 2014-05-01 07:28:12.342+01 2014-06

10103043509747 2014-05-01 07:50:12.33+01 2014-06

10103043501575 2014-05-01 09:27:12.33+01 2014-06

10104043514061 2014-05-01 09:03:12.324+01 2014-06


此时可以看到，在刷新以后，06分区的数据就出来了。

 

以上讲的是单分区还有多分区，在hive表中体现的是又多了分区字段，在HDFS上则体现在目录上，
多级分区和单分区在建表的时候主要就是在patition by后加分区的字段的个数。单分区只加一个，
多分区加要求的分区字段大于1个。在HDFS上每个分区都是一级目录，目录级别根据分区先后确定。
在加载数据的时候，在无论是多级分区还是单分区都需要在load语句最后加上patition (分区字段1=‘value’，分区字段2=‘value’)

例子展示

多分区：
hive> CREATE TABLE order_partition2 (

> order_number string,

> event_time string

> )

> PARTITIONED BY (event_month string, step string);

OK


加载数据:

hive> load data local inpath '/home/hadoop/order.txt' overwrite into table order_multi_partition partition (event_month='2014-05',step=1);


查询：
hive> select * from order_multi_partition;

OK

110703007267488 2014-05-01 06:01:12.334+01 2014-05 1
1
10101043505096 2014-05-01 07:28:12.342+01 2014-05 1
1
10103043509747 2014-05-01 07:50:12.33+01 2014-05 1
1
10103043501575 2014-05-01 09:27:12.33+01 2014-05 1
1
10104043514061 2014-05-01 09:03:12.324+01 2014-05 1
Time taken: 0.228 seconds, Fetched: 5 row(s)
在HDFS上查询文件结构：


[hadoop@zydatahadoop001 ~]$ hdfs dfs -ls /user/hive/warehouse/order_multi_partition/event_month=2014-05

18/01/09

Found 1 items

drwxr-xr-x - hadoop supergroup 0 2018-01-09 22:52 /user/hive/warehouse/order_multi_partition/event_month=2014-05/step=1

单级分区在HDFS上文件目录为单级；多分区在HDFS上文件目录为多级

 

 


（2）动态分区

 

查看官方地址

先解释什么是动态分区：

Static Partition (SP) columns：静态分区；

Dynamic Partition (DP) columns 动态分区。

DP columns are specified the same way as it is for SP columns – in the partition clause.
The only difference is that DP columns do not have values, while SP columns do.
In the partition clause, we need to specify all partitioning columns,
even if all of them are DP columns.

In INSERT ... SELECT ... queries, the dynamic partition columns must be specified last
among the columns in the SELECT statement and in the same order in which they appear in
the PARTITION() clause.


以上这段话就是官方对静态动态分区的解释
以下为总结内容


1.DP列的指定方式与SP列相同 - 在分区子句中（ Partition关键字后面），
唯一的区别是，DP列没有值，而SP列有值（ Partition关键字后面只有key没有value）；

2.在INSERT … SELECT …查询中，必须在SELECT语句中的列中最后指定动态分区列，
并按PARTITION（）子句中出现的顺序进行排列；

3.所有DP列 - 只允许在非严格模式下使用。
在严格模式下，我们应该抛出一个错误。

4.如果动态分区和静态分区一起使用，必须是动态分区的字段在前，
静态分区的字段在后。

 

 

**演示前先进行设置：**hive 中默认是静态分区，想要使用动态分区，需要设置如下参数，
可以使用临时设置，你也可以写在配置文件（hive-site.xml）里，永久生效。
临时配置如下
开启动态分区（默认为false，不开启）

set hive.exec.dynamic.partition=true;
（开启动态分区）
set hive.exec.dynamic.partition.mode=nonstrict;

（指定动态分区模式，默认为strict，即必须指定至少一个分区为静态分区，
nonstrict模式表示允许所有的分区字段都可以使用动态分区。）

1
2
3
创建员工的动态分区表，分区字段为deptno；

CREATE TABLE emp_dynamic_partition
(
empno int,
ename string,
job string,
mgr int,
hiredate string,
salary double,
comm double
)

PARTITIONED BY (deptno int)

ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";

1
2
3
4
5
6
7
8
9
10
11

如果使用静态分区，根据deptno要写多条语句如下：

CREATE TABLE emp_partition (
empno int,
ename string,
job string,
mgr int,
hiredate string,
salary double,
comm double
)

PARTITIONED BY (deptno int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";

 

insert into table emp_partition partition(deptno=10)
select empno,ename ,job ,mgr ,hiredate ,salary ,comm
from emp where deptno=10;


insert into table emp_partition partition(deptno=20)
select empno,ename ,job ,mgr ,hiredate ,salary ,comm from emp where deptno=20;


insert into table emp_partition partition(deptno=30)
select empno,ename ,job ,mgr ,hiredate ,salary ,comm from emp where deptno=30;


查询结果：

hive> select * from emp_partition;

OK

7782 CLARK MANAGER 7839 1981/6/9 2450.0 NULL 10

7839 KING PRESIDENT NULL 1981/11/17 5000.0 NULL 10

7934 MILLER CLERK 7782 1982/1/23 1300.0 NULL 10

7369 SMITH CLERK 7902 1980/12/17 800.0 NULL 20

7566 JONES MANAGER 7839 1981/4/2 2975.0 NULL 20

7788 SCOTT ANALYST 7566 1987/4/19 3000.0 NULL 20

7876 ADAMS CLERK 7788 1987/5/23 1100.0 NULL 20

7902 FORD ANALYST 7566 1981/12/3 3000.0 NULL 20

7499 ALLEN SALESMAN 7698 1981/2/20 1600.0 300.0 30

7521 WARD SALESMAN 7698 1981/2/22 1250.0 500.0 30

7654 MARTIN SALESMAN 7698 1981/9/28 1250.0 1400.0 30

7698 BLAKE MANAGER 7839 1981/5/1 2850.0 NULL 30

7844 TURNER SALESMAN 7698 1981/9/8 1500.0 0.0 30

7900 JAMES CLERK 7698 1981/12/3 950.0 NULL 30


我们再来看看使用动态分区的效果并注意他的基本语法与静态分区的区别：

insert into table emp_dynamic_partition partition(deptno)
select empno,ename ,job ,mgr ,hiredate ,salary ,comm, deptno from emp;

一条语句完成

hive> select * from emp_dynamic_partition;

OK

7782 CLARK MANAGER 7839 1981/6/9 2450.0 NULL 10

7839 KING PRESIDENT NULL 1981/11/17 5000.0 NULL 10

7934 MILLER CLERK 7782 1982/1/23 1300.0 NULL 10

7369 SMITH CLERK 7902 1980/12/17 800.0 NULL 20

7566 JONES MANAGER 7839 1981/4/2 2975.0 NULL 20

7788 SCOTT ANALYST 7566 1987/4/19 3000.0 NULL 20

7876 ADAMS CLERK 7788 1987/5/23 1100.0 NULL 20

7902 FORD ANALYST 7566 1981/12/3 3000.0 NULL 20

7499 ALLEN SALESMAN 7698 1981/2/20 1600.0 300.0 30

7521 WARD SALESMAN 7698 1981/2/22 1250.0 500.0 30

7654 MARTIN SALESMAN 7698 1981/9/28 1250.0 1400.0 30

7698 BLAKE MANAGER 7839 1981/5/1 2850.0 NULL 30

7844 TURNER SALESMAN 7698 1981/9/8 1500.0 0.0 30

7900 JAMES CLERK 7698 1981/12/3 950.0 NULL 30

 

查看HDFS上文件目录结构
[hadoop@zydatahadoop001 ~]$ hdfs dfs -ls /user/hive/warehouse
Found 5 items

drwxr-xr-x - hadoop supergroup 0 2018-01-09 20:30 /user/hive/warehouse/emp

drwxr-xr-x - hadoop supergroup 0 2018-01-10 00:38 /user/hive/warehouse/emp_dynamic_partition

drwxr-xr-x - hadoop supergroup 0 2018-01-10 00:34 /user/hive/warehouse/emp_partition

drwxr-xr-x - hadoop supergroup 0 2018-01-09 22:52 /user/hive/warehouse/order_multi_partition

drwxr-xr-x - hadoop supergroup 0 2018-01-09 22:42 /user/hive/warehouse/order_partition

 

 

 

动态分区时，第一次执行会碰到这个错误动态分区是严格模式，需要设置成非严格模式执行set hive.exec.dynamic.partition.mode=nonstrict

hive (d6_hive)> insert into emp_dynamic_partition1 partition(deptno) select empno,ename,job,mgr,hiredate,sal,comm,deptno from emp;
FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict

转载于:https://www.cnblogs.com/xuziyu/p/10537759.html

weixin_30703911
关注
Hive分区表
weixin_45264992的博客
10-25 868
Hive分区表 概述： 当Hive表数据量过大，文件数过多时，为了避免查询时全表扫描数据，Hive支持根据指定的字段对表进行分区，分区的字段可以是日期、地域、种类等具有标识意义的字段。 比如把一整年的数据分成12个月（12个分区），后续就可以查询指定的分区的数据，尽可能避免全表扫描查询。 Hive建表完整语法树： 标红语句是创建分区表关键 注意： 分区字段不可以是表中已经存在的字段！！！ 因为分区字段最终也会以虚拟形式显示在表结构中！！ 分区表数据加载——静态分区 静态分区指分区属性值是由用户加载数据时
hive 分区表select全部数据_hive分区表
weixin_29838739的博客
01-14 2073
内部表和外部表内部表：create table，copy数据到warehouse,删除表时数据也会删除外部表：create external table，不copy数据到warehouse,删除表时数据不会删除表的分区分区的好处：如果不建立分区的话，则会全表扫描数据通过目录划分分区，分区字段是特殊字段目录结构：/pub/{dt}/{customer_id}/添加分区：ALTER TABLE fs ...
Hive归档分区
bwddd的博客
08-06 1259
Hadoop中有一种存储格式名为Har, 也就是Hadoop Archive(Hadoop归档文件)的简写. 一个HAR文件就想再HDFS文件系统中一个Tar文件一样是一个单独的文件. 不够其内部可以存放多个文件和文件夹. 在一些使用场景下, 较旧的文件夹和文件比较新的文件夹和文件访问概率要低很多. 如果某个特定分区下保存的成千上万的话,那么就需要 hdfs中的NameNode消耗非常大的代价来管...
hive基础总结
weixin_45498137的博客
11-16 690
1：创建外部表 create external table if not exists employee_external( name string, work_palce array<string>, sex_age struct<sex:string,age:int>, depart_title map<string,array<string>> ) comment 'this is an external table' row format delimi
hive分区表操作
chendake7的博客
04-08 734
分区表的操作 在hive中，可以把大的数据，按照每月，或者天进行切分成一个个的小的文件，存放在不同的文件夹中 创建分区表语法 create table score(s_id string,c_id string,s_score int) partitioned by (month string) row format delimited fields terminated by ‘\t’; 创建一个表带多个分区 create table score2(s_id string,c_id string,s
Hive分区表实战 - 单分区字段
howard2005的专栏
01-10 1162
本实战演练全面展示了如何在Hive中创建和管理分区表，通过实际操作演示了数据按国别分区存储、加载与查询的全过程。从创建`book`表开始，依次完成了数据文件准备、分区数据加载、分区查看及更新元数据等任务，并进一步演示了分区的增删改查操作，最后通过MySQL查看Hive Metastore中记录的分区元数据信息，充分体现了Hive分区表在提升查询效率与简化数据管理方面的优势。
hive 分区表创建
热门推荐
qq_45602114的博客
08-18 1万+
为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。 1、创建分区表 通过PARTITIONED BY子句指定，分区的顺序决定了谁是父目录，谁是子目录。 创建有一个分区的分区表： CREATE TABLE IF NOT EXISTS part_test( c1 string ,c2 string ,c3 string ,c4 string )P
hive 分区表添加字段
爱敲代码的小黑的博客
10-09 2838
修改表结构后，向新增分区插入数据没有问题，向已经存在分区添加数据，新增的字段一直为null。修改分区表结构后，表相关元数据会更改，而分区相关元数据不会更改。hive 分区表添加字段（必须加cascade）添加字段时末尾加关键字：cascade。
HIVE 分区表详解
CharlesCFA的博客
02-21 4203
一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by，详见表创建的语法结构。 二、技术细节 1、一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。 2、表和列名不区分大小写。 3、分区是以字段的形式在
学习大数据DAY41 Hive 分区表创建
shh2000424的博客
08-20 1356
索引（相当于应用“看到”的只是一个表或索引），但在物理上这个表或索引可。分区对应用透明，即对访问数据库的应用而言，逻辑上讲只有一个表或一个。注意：如果删除的分区是表中唯一的分区，那么此分区将不能被删除，要想。4 将第二部的数据 使用动态分区的方法 导入到 第三步的表中。分区是将一个表或索引物理地分解为多个更小、更可管理的部分。注意：以上添加的分区界限应该高于最后一个 分区界限。的节点上，最大一共可以创建多少个动态分区。模式表示允许所有的分区字段都可以使用动态。的节点上，最大可以创建多少个动态分区。
hive 分区表select全部数据_Hive分区表实战
weixin_28726671的博客
01-14 745
1. Hive分区表Partition和Bucket，为了提升查询效率，前者是粗粒度的划分，后者是细粒度的划分。建表语句中使用partitioned by指定分区字段分区表有静态分区和动态分区两种。若分区的值是确定的，那么称为静态分区字段，反之，若分区的值是非确定的，那么称之为动态分区字段。默认是采用静态分区。2. 静态分区应用场景1每天有很多不同的商店各自会产生成百上千的销售记录，当天的数据当天...
Hive 分区表 & 数据加载
Python+大数据+数据分析+自动化+Vue组件开发
12-09 5653
1. Hive表数据的导入方式 1.1 本地上传至hdfs 命令： hdfs dfs -put [文件名] [hdfs绝对路径] 例如：测试文件 test_001.txt 内容如下 在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，建表语句如下： create table test_001(id string, name string) row format delimited fields terminated
VB程序实例-运用Mschat图表显示数据(方法二).zip
11-03
VB程序实例-运用Mschat图表显示数据(方法二).zip
VB程序实例-改变Windows图标大小.zip
11-03
VB程序实例，可供参考学习使用，希望对你有所帮助
技术资料分享ZigBee协议栈的研究与实现非常好的技术资料.zip
11-03
技术资料分享ZigBee协议栈的研究与实现非常好的技术资料.zip
pytz-2016.10-py3.1.egg
最新发布
11-03
pytz库的主要功能 时区转换：pytz库允许用户将时间从一个时区转换到另一个时区，这对于处理跨国业务或需要处理多地时间的数据分析尤为重要。 历史时区数据支持：pytz库不仅提供了当前的时区数据，还包含了历史上不同时期的时区信息，这使得它在处理历史数据时具有无与伦比的优势。 夏令时处理：pytz库能够自动处理夏令时的变化，当获取某个时区的时间时，它会自动考虑是否处于夏令时期间。 与datetime模块集成：pytz库可以与Python标准库中的datetime模块一起使用，以确保在涉及不同时区的场景中时间的准确性。
技术资料分享ADV7123非常好的技术资料.zip
11-03
技术资料分享ADV7123非常好的技术资料.zip
技术资料分享MP1541非常好的技术资料.zip
11-03
技术资料分享MP1541非常好的技术资料.zip
hive分区表
06-02
Hive分区表是一种逻辑上组织数据的方式，可以将数据按照特定的列进行分组，提高查询效率。在Hive中，分区表是将数据按照指定的分区列进行划分，每个分区存储在不同的目录中。例如，可以将按照日期分组的数据存储在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值