hive学习（5）--- Partitions分区的使用（包括动态分区）

最新推荐文章于 2023-12-05 08:17:04 发布
最新推荐文章于 2023-12-05 08:17:04 发布
阅读量1.1k 收藏
点赞数
分类专栏： Hadoop相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/glgl2424/article/details/26822131
版权

下面这个文章很好的讲解了Partitions的使用方法

http://www.aahyhaa.com/archives/316

其他参考文章：

http://p-x1984.iteye.com/blog/1156408

http://www.cnblogs.com/tangtianfly/archive/2012/03/13/2393449.html

http://www.2cto.com/kf/201210/160777.html

http://blog.csdn.net/acmilanvanbasten/article/details/17252673



但是，这里还需要补充一点，也是我学习过程中的一个误区：

对于具备分区字段的表，导入的数据，只能导入到指定的分区，而我曾经以为，数据导入时，会自动根据字段进行分区。这有什么区别呢？

比如，我的表按照city分区，我有一份各个城市的天气，大概数据如下：

2014-05-23|07:33:58 China shenzhen rain -28 -21 199
2014-05-23|07:33:58 China hangzhou fine -26 -19 200
2014-05-23|07:33:58 China hangzhou fine 6 14 200

然后我把这个数据加载到表中：load data inpath '/tmp/wetherdata4.txt' into table weatherpartion partition(city='hangzhou');

我的预期是：会根据city字段创建2个分区目录，一个叫hangzhou，一个叫shenzhen，并且会shenzhen的这一行记录放到shenzhen这个分区，把杭州的2行记录放到hangzhou

但实际上，只创建了一个分区hangzhou，并且3条数据都加载进了hangzhou这个分区，这很明显，数据与分区没有一致。

此时，再仔细思考下分区的使用场景，我的理解是：

1、数据文件生成的时候，会根据某个字段生成不同的文件，比如场景的日志文件，每天会产生一个，同一天的日志会放到一个文件中

2、不同的数据文件，会累加到一个表中做大数据分析


根据上面的解释，就比较好理解为什么导入的时候，一个文件只能导入到一个指定的分区（可能是多个条件指定的唯一分区，比如city=hangzhou,country=china），

再看看创建表时候的语句，被指定分区的字段其实不是表创建时候的字段（比如city字段），也就是说，其实用于分区的字段，并不应该作为数据真正的字段，只能认为是一个辅助字段，而为了hql语法上的支持，故hive会在创建的时候把分区字段也加入到表的字段中，因为语法需要。

比如每个城市会把自己的天气数据汇总给某个机构，那机构就会对city进行分区，而每个城市汇总的天气数据里，可以没有city这个字段，因为一个城市，它的city值肯定是一样的，写与不写都无所谓。此时，这个机构在导入数据的时候指明 partition(city='XXX');即可，这样，每个城市的天气数据就导入的对应的目录下，当查找指定城市的天气时，系统只会访问对应目录下的原始数据文件，不会访问表中其他城市的原始数据文件，从而提高效率。

    create table weatherpartion
    (date string, weath string, 
    minTemperat int, maxTemperat int,
    pmvalue int) partitioned by (country string, city string)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ' '
    STORED AS TEXTFILE;


其实hive对分区的设计，正是符合了它的本意：不对数据文件做任何修改。如果是根据某个字段，自动分区，那势必会把一个大文件拆成多个小文件，这就违背了不修改数据文件的初衷了。


为了验证性能，我们做一个实验，同样的数据，一个是按pcity分区，一个不分区，看看同样的hql的执行速度：

分区情况：

hive> dfs -ls /user/hive/warehouse/weatherpartion;
Found 6 items
drwxr-xr-x   - hadoop supergroup          0 2014-05-24 13:33 /user/hive/warehouse/weatherpartion/pcity=beijin
drwxr-xr-x   - hadoop supergroup          0 2014-05-24 13:34 /user/hive/warehouse/weatherpartion/pcity=guangzhou
drwxr-xr-x   - hadoop supergroup          0 2014-05-24 13:34 /user/hive/warehouse/weatherpartion/pcity=hangzhou
drwxr-xr-x   - hadoop supergroup          0 2014-05-24 13:34 /user/hive/warehouse/weatherpartion/pcity=nanjing
drwxr-xr-x   - hadoop supergroup          0 2014-05-24 13:34 /user/hive/warehouse/weatherpartion/pcity=shanghai
drwxr-xr-x   - hadoop supergroup          0 2014-05-24 13:34 /user/hive/warehouse/weatherpartion/pcity=shenzhen


在同样的情况下，多次执行同一句hql，取耗时的平均值：

一：未分区的weather表，三表联合查询，排序

select cy.number,wh.*,pm.pmlevel
from cityinfo cy join weather wh on (cy.name=wh.city) 
join pminfo pm on (pm.pmvalue=wh.pmvalue) 
where wh.city='hangzhou' and wh.weath='fine' and wh.minTemperat in 
( -18,25,43) order by maxTemperat DESC limit 20;

执行5次，耗时如下：

Job 0: Map: 5  Reduce: 2   Cumulative CPU: 41.52 sec   HDFS Read: 1061735802 HDFS Write: 6918992 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.14 sec   HDFS Read: 6923192 HDFS Write: 7232163 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.81 sec   HDFS Read: 7232532 HDFS Write: 1126 SUCCESS
Total MapReduce CPU Time Spent: 48 seconds 470 msec

Time taken: 72.781 seconds, Fetched: 20 row(s)


Job 0: Map: 5  Reduce: 2   Cumulative CPU: 45.71 sec   HDFS Read: 1061735802 HDFS Write: 6918992 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.25 sec   HDFS Read: 6923192 HDFS Write: 7232163 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.82 sec   HDFS Read: 7232532 HDFS Write: 1126 SUCCESS
Total MapReduce CPU Time Spent: 52 seconds 780 msec

Time taken: 66.584 seconds, Fetched: 20 row(s)


Job 0: Map: 5  Reduce: 2   Cumulative CPU: 43.55 sec   HDFS Read: 1061735802 HDFS Write: 6918992 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.29 sec   HDFS Read: 6923192 HDFS Write: 7232163 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.82 sec   HDFS Read: 7232532 HDFS Write: 1126 SUCCESS
Total MapReduce CPU Time Spent: 50 seconds 660 msec

Time taken: 62.12 seconds, Fetched: 20 row(s)


Job 0: Map: 5  Reduce: 2   Cumulative CPU: 41.09 sec   HDFS Read: 1061735802 HDFS Write: 6918992 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.12 sec   HDFS Read: 6923192 HDFS Write: 7232163 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.8 sec   HDFS Read: 7232532 HDFS Write: 1126 SUCCESS
Total MapReduce CPU Time Spent: 48 seconds 10 msec

Time taken: 58.33 seconds, Fetched: 20 row(s)


Job 0: Map: 5  Reduce: 2   Cumulative CPU: 42.68 sec   HDFS Read: 1061735802 HDFS Write: 6918992 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.0 sec   HDFS Read: 6923192 HDFS Write: 7232163 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.82 sec   HDFS Read: 7232532 HDFS Write: 1126 SUCCESS
Total MapReduce CPU Time Spent: 49 seconds 500 msec

Time taken: 62.355 seconds, Fetched: 20 row(s)


二：按city分区的weather表，三表联合查询，排序

select cy.number,wh.*,pm.pmlevel
from cityinfo cy join weatherpartion wh on (cy.name=wh.city) 
join pminfo pm on (pm.pmvalue=wh.pmvalue) 
where wh.pcity='hangzhou' and wh.weath='fine' and wh.minTemperat in 
( -18,25,43) order by maxTemperat DESC limit 20;

执行5次，耗时如下：

Job 0: Map: 2  Reduce: 1   Cumulative CPU: 10.68 sec   HDFS Read: 172140323 HDFS Write: 7793860 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.35 sec   HDFS Read: 7797836 HDFS Write: 7997910 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.82 sec   HDFS Read: 7998279 HDFS Write: 1306 SUCCESS
Total MapReduce CPU Time Spent: 17 seconds 850 msec

Time taken: 48.127 seconds, Fetched: 20 row(s)


MapReduce Jobs Launched: 
Job 0: Map: 2  Reduce: 1   Cumulative CPU: 10.4 sec   HDFS Read: 172140323 HDFS Write: 7793860 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.31 sec   HDFS Read: 7797836 HDFS Write: 7997910 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.84 sec   HDFS Read: 7998279 HDFS Write: 1306 SUCCESS
Total MapReduce CPU Time Spent: 17 seconds 550 msec

Time taken: 47.386 seconds, Fetched: 20 row(s)


MapReduce Jobs Launched: 
Job 0: Map: 2  Reduce: 1   Cumulative CPU: 10.8 sec   HDFS Read: 172140323 HDFS Write: 7793860 SUCCESS
Job 1: Map: 2  Reduce: 1   Cumulative CPU: 5.38 sec   HDFS Read: 7797835 HDFS Write: 7997910 SUCCESS
Job 2: Map: 1  Reduce: 1   Cumulative CPU: 1.85 sec   HDFS Read: 7998278 HDFS Write: 1306 SUCCESS
Total MapReduce CPU Time Spent: 18 seconds 30 msec

Time taken: 47.853 seconds, Fetched: 20 row(s)


三、结论

CPU消耗的时间大幅减少，但总时间提升的并不太多，因为还涉及到一些调度、通信、洗牌、切分等的时间


四、动态分区

静态分区要求导入数据的时候指定导入的分区，如果有大量不同分区的数据需要导入，则需要手动执行N次命令，相当麻烦，所以hive提供动态分区的功能。

也就是说，hive可以根据设定的分区，把数据分到对应的分区中，它包括严格模式和宽松模式。

默认情况下动态分区的功能是关闭的，需要用户手动打开，当打开动态分区后，默认情况下是严格模式

打开动态分区的命令：set hive.exec.dynamic.partition=true;


通过如下例子说明

需求：把天气表中的数据按照城市和天气状况（晴、雨）进行2级分区，例子使用严格模式，所以城市为静态分区，天气情况weath为动态分区，从而构成2级分区

第一步，创建目标表，指定分区字段：

  create table weather_sub 
    (date string, pmvalue int) partitioned by (city string, weath string)         //此处需要指定2个分区字段
    ROW FORMAT DELIMITED 
    FIELDS TERMINATED BY ' '
    STORED AS TEXTFILE;

再执行动态分区插入数据的语句：
insert overwrite table weather_sub 
    partition (city='hangzhou',weath)
    select w.date,w.pmvalue,w.weath   //此处需要注意，这里只填了3个字段，但目标表事实上有4个字段的，其中缺少的字段正是weather_sub.city
    from weather w
    where w.city='hangzhou';

//w.date,w.pmvalue分别对应目标表的date和pmvalue，city字段使用分区指定的hangzhou，w.weath对应weath


检验结果:

hive> select * from weather_sub where city='hangzhou' and weath='fine' limit 5;
OK
2014-05-23|07:33:58     200     hangzhou        fine
2014-05-23|07:33:58     200     hangzhou        fine
2014-05-23|07:33:58     200     hangzhou        fine
2014-05-23|07:33:58     200     hangzhou        fine
2014-05-23|07:33:58     200     hangzhou        fine
Time taken: 0.101 seconds, Fetched: 5 row(s)

按分区查找，速度很快，没有用MP程序


查看dfs情况：

hive> dfs -ls /user/hive/warehouse/weather_sub/city=hangzhou;                  
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2014-06-06 22:42 /user/hive/warehouse/weather_sub/city=hangzhou/weath=cloudy
drwxr-xr-x   - hadoop supergroup          0 2014-06-06 22:42 /user/hive/warehouse/weather_sub/city=hangzhou/weath=fine


最后附上删除表的命令：

drop table weather_sub;

glgl2424
关注
专栏目录
[Hive基础]-- 动态分区与静态分区
欢迎来到我的博客，一起探索代码里的世界！
03-02 2287
前言 1、Hive分区的概念与传统关系型数据库分区不同。 2、传统数据库的分区方式：如oracle，分区独立存在于字段，里面存储真实的数据，在数据进行插入的时候自动分配分区。 3、Hive的分区方式：Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并非一个实际字段。 即，当在插入数据的时候指定分区，其就是新建一个目录或者子目录，或者在原...
遇到的情况--hive---动态创建分区报错dynamic.partitions.pernode. Maximum was set to: 100
直到世界的尽头
03-03 5719
遇到的情况 我们在hive shell中使用 insert overwrite table table_p partition(time) select id,time from table_info; 进行动态分区写入数据，然后在reduce的时候报错 hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 10...
Kafka中的Partition详解与示例代码
最新发布
晓晓的天空
12-05 3571
本文详细介绍了Kafka中的Partition概念，从创建、配置、内部工作原理到实际应用示例和性能调优等多个方面进行了深入的讨论。希望这些详细的示例代码和解释能够帮助大家更全面地理解和应用Kafka中的Partition。在实际应用中，根据业务需求和系统规模，可以灵活配置Partition以达到最佳性能和可靠性。
Hive分区表的分区操作
IT影风的博客
05-09 5万+
为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。1、创建分区表通过PARTITIONED BY子句指定，分区的顺序决定了谁是父目录，谁是子目录。创建有一个分区的分区表：CREATE TABLE IF NOT EXISTS part_test(           c1     ...
Partitions
473687880
10-20 319
Partitions Partitioning enables you to decompose very large tables and indexes into smaller and more manageable pieces called partitions. Each partition is an independent object with its own name ...
15. PARTITIONS
风中清淡
08-18 2331
15. PARTITIONS PARTITIONS表提供有关表分区的信息。 此表中的每一行对应于分区表的单个分区或子分区。 有关分区表的更多信息，请参见分区。 PARTITIONS表有以下列： TABLE_CATALOG ：表所属目录的名称。 该值始终为def。 TABLE_SCHEMA ：表所属schema(databas...
partition分区
晓风岚月
01-25 847
1）默认partition分区 public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to partition. */ public int getPartition(K key, V value, int numReduc...
Hive 分区--静态分区、动态分区
chooser007的博客
06-26 1822
Hive分区 1、Hive 分区 partition：必须在表定义的时候指定对应的partition字段 单分区建表语句：create table day_table (id int, content string) partitioned by (dt string); 单分区表，按天分区，在表结构中存在id，content，dt三列 以dt为文件...
Hive学习----分区操作
learningcoder的专栏
09-02 595
1.创建分区 对表中的数据进行管理，并能提高查询效率，Hive的分区实际上就是表下创建子目录 创建表分区通过关键字PARTITIONED BY CREATE TABLE IF NOT EXISTS tb1( id int, name string )PARTITIONED BY (year int,month int) ROW FORMAT DELIMITED FIELDS TERM...
Hive 学习笔记 排序-分区-分桶-函数
yisuoyanyv的博客
01-14 1763
1. 排序 1.1 Order By 全局排序 关注点： 只有一个reducer ,也就是只有一个分区。 1.2 Sort By Reducer内部排序，分区内排序 关注点： 有多个reducer，也就是有多个分区 注意点： 有多个reducer，单独使用sort by ,数据会被随机分到每个reducer中，在每个reducer中，sort by 将数据排序。 set mapreduce.job.reduces; select * from epm order by detp desc; in
readhat6.5自定义分区和系统安装完整版
08-23
readhat6.5自定义分区和系统安装完整版 包含视频操作 也使用大多数linux操作系统
Hive分区partition详解
热门推荐
Liu_Arvin的芝士小栈
11-01 10万+
Hive分区partition详解
[Codeforces961G]Partitions
BeNoble_的博客
04-09 362
题意 给出nnn 个物品,,, 每个物品有一个权值wiwiw_i 定义一个集合SSS 的权值W(S)=|S|∑x∈SwxW(S)=|S|∑x∈SwxW(S)=|S|\sum\limits_{x\in S}w_x 定义一个划分的权值为W′(R)=∑S⊆RW(S)W′(R)=∑S⊆RW(S)W'(R)=\sum\limits_{S\subseteq R}W(S) 求将nnn 个物品划分成...
分区 Partitions
You_are_my_zing的博客
12-08 446
QuestDB提供了按时间间隔分区表的选项。每个时间间隔的数据存储在单独的文件集中。 数据列文件的关系图，以及如何对它们进行分区以形成一个表 属性 分区间隔包括 NONE、YEAR、MONTH、DAY 和 HOUR。 默认行为是分区由 NONE 。 分区在创建表时定义。要了解更多信息，请参考 CREATE TABLE 部分。 分区只能在具有指定时间戳的表上进行。有关指定时间戳的更多信息，请参阅指定 时间戳部分。 优点 减少时间戳间隔搜索的磁盘IO。这是因为我们的SQL优化器利用了分区。
About Oracle 分区(Partitions)
你的世界是你创造的结果
03-23 294
Oracle 分区相关： 一、Oracle分区简介 ORACLE的分区是一种处理超大型表、索引等的技术。分区是一种“分而治之”的技术，通过将大表和索引分成可以管理的小块，从而避免了对每个表作为一个大的、单独的对象进行管理，为大量数据提供了可伸缩的性能。分区通过将操作分配给更小的存储单元，减少了需要进行管理操作的时间，并通过增强的并行处理提高了性能，通过屏蔽故障数据的分区，还增加了可用性。 二、O...
一网打尽Kafka常用命令、脚本及配置，宜收藏！
程序IT圈
06-01 574
前言通过前面 7 篇文章的介绍，小伙伴们应该对 Kafka 运行工作原理有一个相对比较清晰的认识了。Kafka是什么？一起来看看吧！Kafka 安装及简单命令使用Kafka中消息如何被存...
show partitions 分区查询
weixin_45063703的博客
10-21 1万+
前言 查询的分区情况 程序 Jupyter # 导入信息 from pyspark.sql import SparkSession, Row from pyspark import SQLContext from pyspark.sql.functions import udf, col, explode, collect_set, get_json_object, concat_ws, split from pyspark.sql.types import StringType, IntegerTy
hive常用语法
weixin_43824520的博客
09-06 491
hive基本操作 #查看数据库 show databases #查看表信息 show tables #查看分区 show partitions #查看函数 show functions #查看详细信息 (格式模糊) desc extended t_tablename; #查看详细信息 (格式清晰) desc formatted t_ta...
Hive分区表
人不风流枉少年
02-16 577
一：简介 分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个类别中然后直接去对应类对应的文件中去查询就好，这样只需扫描这一个类别的文件而不需要扫描所有文件，这样提高了查询效率。 分区表就是对文件进行水平分割，对数据分门别类的分开存储。 分区表有两种...
hive-show-partitions
06-09
如果是的话，您可以使用Hive的SHOW PARTITIONS命令来展示表的所有分区。具体语法如下： ``` SHOW PARTITIONS table_name; ``` 其中，table_name是您想展示分区信息的表名。执行该命令后，Hive会返回该表的所有分区...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值