7.Hive基础—分区表(基本操作、二级分区、动态分区调整)、分桶表(创建、注意事项、Insert导入数据)、抽样查询

最新推荐文章于 2022-10-26 21:32:03 发布
最新推荐文章于 2022-10-26 21:32:03 发布
阅读量1.2k 收藏 9
点赞数 2
分类专栏： Hive学习笔记 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/affluent6/article/details/119742443
版权

本文目录如下：

第7章 分区表和分桶表

7.1 分区表

分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。

7.1.1 分区表基本操作

7.1.1.1 引入分区表
  • 需要根据日期对日志进行管理, 通过部门信息模拟
dept1.txt
dept2.txt
dept3.txt
7.1.1.2 创建分区表语法
hive (default)> create table dept_par(
deptno int, dname string, loc string
)
partitioned by (day string)
row format delimited fields terminated by '\t';

注意：分区字段不能是表中已经存在的数据，可以将分区字段看作表的伪列。

7.1.1.3 加载数据到分区表中
  • (1) 数据准备
`dept1.txt`
10	ACCOUNTING	1700
20	RESEARCH	1800

`dept2.txt`
30	SALES	1900
40	OPERATIONS	1700

`dept3.txt`
50	TEST	2000
60	DEV	1900
  • (2) 加载数据
hive (default)> load data local inpath '/opt/module/hive/datas/dept1.txt'
into table dept_par partition(day='2020-8-25');

hive (default)> load data local inpath '/opt/module/hive/datas/dept2.txt'
into table dept_par partition(day='2020-8-26');

hive (default)> load data local inpath '/opt/module/hive/datas/dept3.txt'
into table dept_par partition(day='2020-8-27');

注意：分区表加载数据时，必须指定分区
在这里插入图片描述

  • (3) 查询分区表中数据

单分区查询

hive (default)> select * from dept_par where day='2020-8-25';

多分区联合查询

hive (default)> select * from dept_par where day='2020-8-25'
union
select * from dept_par where day='2020-8-26'
union
select * from dept_par where day='2020-8-27';

hive (default)> select * from dept_par where day='2021-8-25' or day='2020-8-26' or day='2020-8-27';
  • (4) 增加分区

创建单个分区

hive (default)> alter table dept_par add partition(day='2020-8-28');
# 这样增加的分区里面没有内容, 产生的是一个空文件夹。下同。

同时创建多个分区

hive (default)> alter table dept_par add partition(day='2020-8-29') partition(day='2020-8-30');
  • (5) 删除分区

删除单个分区

hive (default)> alter table dept_par drop partition (day='2020-8-28');

同时删除多个分区

hive (default)> alter table dept_par drop partition (day='2020-8-29'),partition(day='2020-8-30');
  • (6) 查看分区表有多少分区
hive> show partitions dept_par;
  • (7) 查看分区表结构
hive> desc formatted dept_partition;

7.1.2 二级分区

思考: 如何一天的日志数据量也很大，如何再将数据拆分?

7.1.2.1 创建二级分区表
hive (default)> create table dept_par2(
deptno int, dname string, loc string
)
partitioned by (day string, hour string)
row format delimited fields terminated by '\t';
# 二级分区, partitioned by 后面的括号里有两个参数
7.1.2.2 正常的加载数据
  • (1) 加载数据到二级分区表中
hive (default)> load data local inpath '/opt/module/hive/datas/dept1.log' 
into table dept_par2 partition(day='2020-8-25', hour='12');
  • (2) 查询分区数据(***)
hive (default)> select * from dept_par2 where day='2020-8-25' and hour='12';
7.1.2.3 把数据直接上传到分区目录上

把数据直接上传到分区目录上，让分区表和数据产生关联的三种方式:

  • (1) 方式一：上传数据后修复

上传数据

hive (default)> hadoop fs -mkdir /user/hive/warehouse/dept_par/day=2021-08-25;
hive (default)> hadoop fs -put /opt/module/hive/datas/dept1.log /user/hive/warehouse/dept_par/day=2021-08-25;

查询数据（查询不到刚上传的数据）(因为数据库中没有这块分区的元数据信息)

hive (default)> select * from dept_par where day='2021-08-25';

执行修复命令

hive> msck repair table dept_par;

再次查询数据

hive (default)> select * from dept_par where day='2021-08-25';
  • (2) 方式二：上传数据后添加分区

上传数据

hive (default)> hadoop fs -mkdir /user/hive/warehouse/dept_par/day=2021-08-26;
hive (default)> hadoop fs -put /opt/module/hive/datas/dept1.log /user/hive/warehouse/dept_par/day=2021-08-26;

执行添加分区

hive (default)> alter table dept_par2 add partition(day='2021-08-26');

查询数据

hive (default)> select * from dept_par2 where day='2021-08-26';
  • (3)方式三：创建文件夹后 load 数据到分区

创建目录

hive (default)> hadoop fs -mkdir /user/hive/warehouse/dept_par2/day=2021-08-27;

上传数据

hive (default)> load data local inpath '/opt/module/hive/datas/dept1.log' 
into table dept_part2 partition(day='2021-08-27',hour='15');

查询数据

hive (default)> select * from dept_par2 where day='2021-08-27';

7.1.3 动态分区调整

关系型数据库中，对分区表 Insert 数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive 中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用 Hive 的动态分区，需要进行相应的配置。

7.1.3.1 开启动态分区参数设置
  • (1) 开启动态分区功能（默认 true，开启）
hive (default)> set hive.exec.dynamic.partition=true
  • (2) 设置为非严格模式（动态分区的模式，默认 strict，表示必须指定至少一个分区为静态分区，nonstrict 模式表示允许所有的分区字段都可以使用动态分区。）
hive (default)> set hive.exec.dynamic.partition.mode=nonstrict
  • (3) 在所有执行 MR 的节点上，最大一共可以创建多少个动态分区。默认 1000
hive (default)> set hive.exec.max.dynamic.partitions=1000

一般情况下只修改上面这个属性就行了，下面的这些属性不用修改，因为数据很难达到下面描述的那种规模。

  • (4) 在每个执行 MR 的节点上，最大可以创建多少个动态分区。该参数需要根据实际的数据来设定。比如：源数据中包含了一年的数据，即 day 字段有 365 个值，那么该参数就需要设置成大于 365，如果使用默认值 100，则会报错。
hive.exec.max.dynamic.partitions.pernode=100
  • (5) 整个 MR Job 中，最大可以创建多少个 HDFS 文件。默认 100000
hive.exec.max.created.files=100000
  • (6) 当有空分区生成时，是否抛出异常。一般不需要设置。默认 false
hive.error.on.empty.partition=false

注: Hive3.X版本新特性: 既可以不用开非严格模式, 插入数据时也不用指定分区字段(如partitioned by (loc int))。

7.1.3.2 案例实操

需求：将 dept 表中的数据按照地区（loc 字段），插入到目标表 dept_partition 的相应分区中。

  • (1) 创建目标分区表
hive (default)> create table dept_partition(id int, name string) 
partitioned by (loc int) 
row format delimited fields terminated by '\t';
  • (2) 设置动态分区
set hive.exec.dynamic.partition.mode = nonstrict;

hive (default)> insert into table dept_partition
partition(loc) 
select deptno, dname, loc from dept;
  • (3) 查看目标分区表的分区情况
hive (default)> show partitions dept_partition;

思考：目标分区表是如何匹配到分区字段的？

7.2 分桶表

  • 分区 提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。
  • 分桶 是将数据集分解成更容易管理的若干部分的另一个技术。
  • 分区针对的是数据的 存储路径；分桶针对的是 数据文件。

7.2.1 先创建分桶表

  • (1) 数据准备
1001 ss1
1002 ss2
1003 ss3
1004 ss4
1005 ss5
1006 ss6
1007 ss7
1008 ss8
  • (2) 创建分桶表
hive (default)> create table stu_buck(id int, name string)
clustered by(id) 
into 4 buckets
row format delimited fields terminated by '\t';
  • (3) 查看表结构
hive (default)> desc formatted stu_buck;
Num Buckets: 4
  • (4) 导入数据到分桶表中，load 的方式
hive (default)> load data inpath '/student.txt' into table stu_buck;

  • (5) 查看创建的分桶表中是否分成 4 个桶

  • (6) 查询分桶的数据

hive(default)> select * from stu_buck;
  • (7) 分桶规则：
    根据结果可知：Hive 的分桶采用对分桶字段的值进行哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。

7.2.2 分桶表操作需要注意的事项:

  • (1) reduce 的个数设置为-1,让 Job 自行决定需要用多少个 reduce 或者将 reduce 的个数设置为大于等于分桶表的桶数

  • (2) 从 hdfs 中 load 数据到分桶表中，避免本地文件找不到问题

  • (3) 不要使用本地模式

7.2.3 insert 方式将数据导入分桶表

hive(default)> insert into table stu_buck select * from student_insert;

7.3 抽样查询

  • 对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive 可以通过对表进行抽样来满足这个需求。
  • 语法: TABLESAMPLE(BUCKET x OUT OF y)
  • 查询表 stu_buck 中的数据。
hive (default)> select * from stu_buck tablesample(bucket 1 out of 4 on id);
  • 注意：x 的值必须小于等于 y 的值，否则会报如下错误:
FAILED: SemanticException [Error 10061]: Numerator should not be bigger 
than denominator in sample clause for table stu_buck

声明：本文是学习时记录的笔记，如有侵权请告知删除！
原视频地址:https://www.bilibili.com/video/BV1EZ4y1G7iL

页川叶川
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hive的基本操作之表分区
QYHuiiQ
04-28 6383
由于hive在查询时会做全表扫描，有些情况下我们只需要查询部分数据，为了避免全表扫描消耗资源和性能，我们可以实现表分区使之扫描部分表。 在hive中分区字段是一个伪字段，并不实际存储数据，可以作为条件用于查询。表分区就是会在表目录下面针对不同的分区创建一个子目录，如果有二级分区，那么会在一级子目录下面继续创建子目录。 分区应用： 进入目标库中 hive> use test_data; 一级分区应用： 建表 hive> create table if not exists parti
hive笔记（六）：分区表和分桶表-分区/二级分区/抽样查询/动态分区调整
qq_55906442的博客
08-28 776
分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定分区，这样的查询效率会提高很多。...
Hive分区表
weixin_44246850的博客
01-11 3477
1、为什么设立分区表 在大量数据需要查询时，虽然可以通过where进行筛选，但也是检索整个数据表后得到的结果。 而将一个大的数据集根据实际需要分割成各个小型数据集，再通过where选择需要查询的分区， 故而效率大大提高。 2、分区表实质 Hive中的分区是将一个文件分割成各个目录（文件）。 3、分区表语法 3.1建立分区表 create table 分区表名称（ 字段名称1 数据类型， 字段名称2 数据类型， 。。。 字段名称n 数据类型 ） partitioned by（分区
hive使用动态分区插入数据详解
Mr.pan felix的专栏
07-11 2929
往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去执行，效率低。因为hive是批处理系统，所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。 1.创建一个单一字段分区表 hive> create table dpartition(id int ,name string ) partitioned by(ct string ); 2.往表里装载数据，并且动态建立分区...
hive创建一级分区和多级分区的方法
tzk_trouble的博客
05-12 2768
一、创建一级分区 1.在hive中建表 create table if not exists d_user( id int, name String, sex String) PARTITIONED BY (country String) ##其中partitioned是一个关键词，表示以country来进行分区，且是静态分区，即倒数数据的使用才会进行创建相应的分区 ROW FORMAT DELIMITED ##表示对行进行格式化 FIELDS TERMINATED BY '\t'; ##表示以tab键来进
第 10 章 分区表和分桶表
最新发布
12-31
在Hive中，分区表和分桶表是两种非常重要的数据组织方式，它们有助于管理和优化大数据处理的效率。分区表是将一个大的表按照特定的业务需求分割成多个子目录，每个子目录对应一个分区，这样在查询时可以通过WHERE...
HIVE 自建落地表
01-07
自建落地表为什么要自建落地表HIVE SQL创建内/外部表、分区表insert overwrite 向分区表插入数据 为什么要自建落地表 1、公司的大数据资源非常紧张， 2、导数逻辑很复杂； 3、日常导数要求时效性高； 4、部门数仓的...
13-Hive基本操作1
08-08
实验内容不仅涵盖了上述的基本操作，还包括了对这些操作的实际应用，如创建和删除数据库，创建、修改和删除表，导入导出数据，以及管理表的分区和桶。通过这些实验，可以深入理解Hive的工作机制和使用方式，以及如何...
Hive配置和基本操作.pdf
10-30
3. **创建分区表**：分区是 Hive 提供的一种优化数据管理的方法，可以提高查询效率。例如，`create table logs(ts bigint, line string) partitioned by (dt STRING);` 创建了一个名为 `logs` 的表，其中 `ts` 和 `...
Hive配置和基本操作 (2).docx
10-30
【Hive配置与基本操作详解】 ...在进行Hive操作时，需要注意根据实际的集群环境和需求调整配置，以确保高效、稳定地运行。同时，理解Hive的工作原理，如数据分桶、分区以及查询优化，对优化查询性能至关重要。
hive分区笔记
长街旧人
01-28 1549
hive分区 1.一级分区 Hive 中的分区就是分目录。和Map中的切片是基本一致的。Map的切片也是为了提高并行度。把表中的数据分开放，当你查表里数据的时候写上分区信息，避免全表扫描; 是一个优化的方案。 分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 2.创建分区表 ​ 注:分区字
hive创建表和增加表分区的两种方式
千淘万漉
11-29 3万+
hive表增加分区的两种方式 第一种方式：load data local inpath注意点： 1.必须是本地文件，不能是集群上的文件 2.文件路径中的变量如果无法替换，可以把单引号换成双引号，一般双引号总是没问题的 3.hive库在配置的时候有一个hdfs基础路径，用这种方式创建的表时可以不指定hdfs路径，导入数据后会自然在“hdfs基础路径/表名/”下生成相应的分区文件夹 4.用desc ...
Hive 分区表 (Partitioned Tables) 『 创建分区表 | CRUD分区 | 修复分区 | 数据导入(静态分区、动态分区) | 查询数据/表结构』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-26 3770
1. 为什么使用分区表？ 2. 创建分区表 3. 分区表的数据导入 (1) 静态分区 (2) 动态分区 4. 查询分区表数据 5. 小结
hive分区表
yanzhelee
07-17 2704
hive分区表假设有海量的数据保存在hdfs的某一个hive表明对应的目录下，使用hive进行操作的时候，往往会搜索这个目录下的所有文件，这有时会非常的耗时，如果我们知道 这些数据的某些特征，可以事先对他们进行分裂，再把数据load到hdfs上的时候，他们就会被放到不同的目录下，然后使用hive进行操作的时候，就可以在where子句中对这些特征进行过滤。
【HIVE】（2）分区表、二级分区、动态分区、分桶、抽样
BIG BOSS的博客
09-18 710
分区表： 建表语句中添加：partitioned by (col1 string, col2 string) create table emp_pt(id int, name string, job string, mgr int, hiredate string, salary double, bonus double, deptid int) partitioned by (year ...
Hive中分区表及陷阱
weixin_33805557的博客
03-06 974
Hive中分区表及陷阱 分区表 分区表实际就是对应hdfs文件系统上的的独立的文件夹，该文件是夹下是该分区所有数据文件。 分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。 分类的标准就是分区字段，可以一个，也可以多个。 分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。 在查询是通过where子句查询来...
Hive总结2（分区+分桶+查询）
qq_35690700的博客
08-11 4333
Hive是一个数据仓库 ，保存的半结构化数据  文本。 Hive不支持：事务，不支持索引（但可以通过分桶实现快速的查询，hash）  类似的分布的nosql（Not Only Sql数据库：hbase - Phoinex(凤凰)    Hive的功能，就是做mapreduce。 分区： 就是在可控制的情况下，将数据放到不同的目录下。 减小查询的范围。 并不能加快查询的速度。还是要查询所...
Hive分区表的分区操作
热门推荐
IT影风的博客
05-09 5万+
为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。一个分区实际上就是表下的一个目录，一个表可以在多个维度上进行分区，分区之间的关系就是目录树的关系。1、创建分区表通过PARTITIONED BY子句指定，分区的顺序决定了谁是父目录，谁是子目录。创建有一个分区的分区表：CREATE TABLE IF NOT EXISTS part_test(           c1     ...
hive 中的二级分区表和动态分区表
maenlai0086的博客
07-18 658
二级分区表/管理表： create table emp_part1( empno int, empname string, empjob string, mgrno int, birthday string, salary float, bonus float, deptno int ) partitioned by (day string,hour string) r...
spark sql创建hive分区表insert
09-10
您好，要在Spark SQL中创建Hive分区表并插入数据，可以按照以下步骤进行操作： 1. 首先，导入必要的库和类： ```scala import org.apache.spark.sql.{SparkSession, SaveMode} ``` 2. 创建一个SparkSession实例：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

页川叶川

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值