Hive中分区表与分桶表的操作

已于 2023-11-12 22:31:59 修改
阅读量261 收藏 1
点赞数 1
文章标签： hive hadoop 数据仓库
于 2023-11-12 22:31:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/denglh525693/article/details/134365158
版权

目录

分区表

 一级分区表

知识点

 示例

多级分区

知识点

 示例

分区表的操作

示例

hadoop_hive文档

分桶表

 重要参数

基础分桶表

知识点

示例

分桶表排序

知识点

示例

分桶原理

分区表和分桶表区别

分区表

分区表特点/好处: 需要产生分区目录, 查询的时候使用分区字段筛选数据,避免全表扫描从而提升查询效率

效率上注意: 如果分区表,在查询数据的时候没有使用分区字段去筛选数据,效率不变

分区字段名注意: 分区字段名不能和原有字段名重复,因为分区字段名要作为字段拼接到表后

 一级分区表

知识点

创建分区表: create table [external] table [if not exists] 表名(字段名 字段类型,字段名 字段类型,...) partition by(分区字段名 分区字段类型)...;

自动生成分区目录并插入数据: load data [local] inpath '文件路径' into table 分区表名 partition (分区字段名='值'');

注意:如果加local 后面文件路径应该是linux本地路径,如果没有加那么就是hdfs文件路径

 示例

-- 2.多级分区表
-- 创建表
create table more_part_order(
    oid string,
    name string,
    price float,
    num int
) partitioned by ( year string,month string,day string)
row format delimited fields terminated by ' ';
-- 插入数据
load data inpath '/source/order202251.txt'
    into table more_part_order
    partition (year='2022',month='2022-05',day='2022-05-01');
load data inpath '/source/order2023415.txt'
    into table more_part_order
    partition (year='2023',month ='2023-04',day ='2023-04-15');
load data inpath '/source/order202351.txt'
    into table more_part_order
    partition (year='2023',month ='2023-05',day ='2023-05-01');
load data inpath '/source/order202352.txt'
    into table more_part_order
    partition (year='2023',month ='2023-05',day ='2023-05-02');
-- 验证数据
select * from more_part_order;
-- 分区表的好处:避免全表扫描,提升查询效率
-- 需求: 统计2023年商品总销售额
select sum(price*num) from more_part_order; -- 4618
-- 需求: 统计2023年5月份商品总销售额
select sum(price*num) from more_part_order where month='2023-05'; --128
-- 需求: 统计2023年5月1日的商品总销售额
select sum(price*num) from more_part_order where day='2023-05-01'; --78

多级分区

知识点

创建分区表: create [external] table [if not exists] 表名(字段名 字段类型 , 字段名 字段类型 , ... )partitioned by (一级分区字段名 分区字段类型, 二级分区字段名 分区字段类型 , ...) ;

自动生成分区目录并插入数据: load data [local] inpath '文件路径' into table 分区表名 partition (一级分区字段名='值',二级分区字段名='值' , ...);

注意: 如果加local后面文件路径应该是linux本地路径,如果没有加那么就是hdfs文件路径

 示例

-- 2.多级分区表
-- 创建表
create table more_part_order(
    oid string,
    name string,
    price float,
    num int
) partitioned by ( year string,month string,day string)
row format delimited fields terminated by ' ';
-- 插入数据
load data inpath '/source/order202251.txt'
    into table more_part_order
    partition (year='2022',month='2022-05',day='2022-05-01');
load data inpath '/source/order2023415.txt'
    into table more_part_order
    partition (year='2023',month ='2023-04',day ='2023-04-15');
load data inpath '/source/order202351.txt'
    into table more_part_order
    partition (year='2023',month ='2023-05',day ='2023-05-01');
load data inpath '/source/order202352.txt'
    into table more_part_order
    partition (year='2023',month ='2023-05',day ='2023-05-02');
-- 验证数据
select * from more_part_order;
-- 分区表的好处:避免全表扫描,提升查询效率
-- 需求: 统计2023年商品总销售额
select sum(price*num) from more_part_order; -- 4618
-- 需求: 统计2023年5月份商品总销售额
select sum(price*num) from more_part_order where month='2023-05';
-- 需求: 统计2023年5月1日的商品总销售额
select sum(price*num) from more_part_order where day='2023-05-01';

分区表的操作

添加分区:alter table 分区表名 add partition (分区字段名='值',...);

删除分区:alter table 分区表名 drop partition (分区字段名='值',...);

修改分区名:alter table 分区表名 partition (分区字段名='旧值',...)rename to partition(分区字段名='新值')

查看所有分区:show partitions 分区表名;

同步/修复分区:msck repair table 分区表名;

示例

-- 添加分区(本质在hdfs上创建分区目录)
alter table one_part_order add partition (year=2024);
alter table more_part_order add partition (year=2024,month='2024-05',day='2024-05-01');
-- 修改分区(本质在hdfs上修改分区目录名)
alter table one_part_order partition (year=2024) rename to partition (year=2025);
-- 原2024目录及2024目录下的分区目录2024-05被保留,实际是分区目录2024-05-01被改名新创建了一个2025/2025-05/2025-05-01的分区目录
alter table more_part_order partition (year=2024,month='2024-05',day='2024-05-01')
    rename to partition (year=2025,month='2025-05',day='2025-05-01');
-- 查看所有分区
show partitions one_part_order;
show partitions more_part_order;
-- 删除分区
--分区目录2025被删除
alter table one_part_order drop partition (year=2025); -- 2025被删除
alter table more_part_order drop partition (year=2023,month='2023-05',day='2023-05-01'); --2023-05-01被删除
alter table more_part_order drop partition (year=2023,month='2023-05');-- 2023-05 被删除
alter table more_part_order drop partition (year=2023); -- 2023被删除
-- 如果在hdfs上创建符合分区目录格式的文件夹,可以使用msck repair修复
-- 举例:手动创建一个year=2033目录
msck repair table one_part_order;
msck repair table more_part_order;
-- 修复后再次查看所有分区
show partitions one_part_order;
show partitions more_part_order;

hadoop_hive文档

hive文档: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
hdfs文档: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
yarn文档: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
mr文档: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

分桶表

分桶表特点/好处: 需要产生分桶文件, 查询的时候特定操作上提升效率(过滤,join,分组 以及 抽样)

效率上注意:  如果分桶表,在查询数据的时候没有使用分桶字段去筛选数据,效率不变

分桶字段名注意: 分桶字段名必须是原有字段名, 因为分桶需要根据对应字段值取余数把余数相同的数据放到同一个分桶文件中

 重要参数

-- 默认开启,hive2.x版本已经被移除
set hive.enforce.bucketing; -- 查看未定义因为已经被移除
set hive.enforce.bucketing=true; -- 修改

-- 查看reduce数量
-- 参数优先级: set方式 > hive文档 > hadoop文档
set mapreduce.job.reduces; -- 查看默认-1,代表自动根据桶数量匹配reduce数量
set mapreduce.job.reduces=3; -- 设置参数

基础分桶表

知识点

创建基础分桶表:  
create [external] table [if not exists] 表名(
    字段名 字段类型
)
clustered by (分桶字段名)
into 桶数量 buckets ;

示例

-- 1.创建基础分桶表,要求分3个桶
create table course(
    id int,
    subject string,
    name string
)clustered by (id) into 3 buckets
row format delimited fields terminated by '\t';
-- 加载数据
load data inpath '/source/course.txt' into table course;
-- 验证数据
select  * from course;

分桶表排序

知识点

创建基础分桶表,然后桶内排序:   
create [external] table [if not exists] 表名(
    字段名 字段类型
)
clustered by (分桶字段名)
sorted by(排序字段名 asc|desc)   # 注意:asc升序(默认) desc降序
into 桶数量 buckets ;

示例

-- 1.创建基础分桶表,要求分3个桶,桶内根据id降序
create table course_sort(
    id int,
    subject string,
    name string
)clustered by (id) sorted by (id desc )into 3 buckets
row format delimited fields terminated by '\t';
-- 加载数据
load data inpath '/source/course.txt' into table course_sort;
-- 验证数据
select  * from course_sort;

分桶原理

分桶原理:
如果是数值类型分桶字段: 直接使用数值对桶数量取模   
如果是字符串类型分桶字段: 底层会使用hash算法计算出一个数字然后再对桶数量取模

Hash: Hash是一种数据加密算法，其原理我们不去详细讨论，我们只需要知道其主要特征：同样的值被Hash加密后的结果是一致的
举例: 字符串“sisi”被Hash后的结果是3530540（仅作为示意），那么无论计算多少次，字符串“sisi”的结果都会是3530540。
计算余数: hash('sisi')%3==2 
注意: 同样的数据得到的结果一致，如’sisi’ hash取模结果是2，无论计算多少次，它的取模结果都是2

分区表和分桶表区别

分区表
    创建表的时候使用关键字: partition by (分区字段名 分区字段类型)
    分区字段名注意事项: 是一个新的字段,需要指定类型,且不能和其他字段重名
    分区表好处: 使用分区字段作为条件的时候,底层直接找到对应的分区目录,能够避免全表扫描,提升查询效率
    分区表最直接的效果: 在hfds表目录下,分成多个分区目录(year=xxxx,month=xx,day=xx)
    不建议直接上传文件在hdfs表根路径下: 分区表直接不能识别对应文件中数据,因为分区表会找分区目录下的数据文件
    使用load方式加载hdfs中文件: 本质是移动文件到对应分区目录下

分桶表
    创建表的时候使用关键字: clustered by (分桶字段名) into 桶数量 buckets
    分桶字段名注意事项: 是指定一个已存在的字段,不需要指定类型
    分桶表好处: 使用分桶字段做抽样等特定操作的时候,也能提升性能效率
    分桶表最直接的效果: 在hdfs表目录或者分区目录下,分成多个分桶文件(000000_0,000001_0,000002_0...)
    不建议直接上传文件在hdfs表根路径下: 分桶表可以识别对应文件中数据,但是并没有分桶效果,也是不建议的
    使用load方式加载hdfs中文件: 本质是复制数据到各个分桶文件中

Sisi525693
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hive表分区查询show partitions tablename
zhengzaifeidelushang的博客
08-13 5472
Hive表分区查询show partitions tablename Spark Sql： %sql show partitions grainfo;
hive-show-partitions
weixin_30680385的博客
03-15 4059
展示分区命令 show partitions show partitions 可以展示这个表格之下的所有分区信息。这个命令常常用在使用SQL语句操作数据之前。举个简单的例子，如果我们想要根据uid融合两个hive表格，那么在筛选数据的时候用到分区dt(datetime)以确保融合的数据是在同一天生成的。 我们可以在控制台直接输入以下代码: hive -e "show partitions samp...
详解 Hive 分区表和分桶表
最新发布
weixin_44480009的博客
05-16 827
分区表实际上是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件Hive 中的分区就是分目录，即把一个大的数据集根据业务需要分割成小的数据集在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，可以避免全表扫描，进而提高查询效率对于一张表或者分区，Hive 可以进一步组织成桶，进行更为细粒度的数据范围划分分桶是将数据集分解成更容易管理的若干部分的另一个技术分区针对的是数据的存储路径；分桶针对的是数据文件。
Hive Partition
simplelife12138的博客
01-09 283
重置HIVE 登录mysql [root@m ~]# mysql -uroot -p1 ->MySQL drop database hive; create database hive; --修改数据库编码 alter database grant all on hive.* to hive@'%' identified by '1'; grant all on hive.* to hi
hive 显示分区
weixin_30673611的博客
02-07 189
显示某一张表的分区值 show partitions table_name; 转载于:https://www.cnblogs.com/zhangbojiangfeng/p/6374217.html
hive 多级分区表
weixin_33744141的博客
05-30 2666
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive分区表和分桶表.md
08-07
Hive分区表和分桶表，进阶篇
Hive的分区表
01-20
Hive分区表对应的是HDFS上独立的文件夹，该文件夹存放的是该分区的所有数据，其实分区就是分目录。Hive通过分区把一个大的数据集根据业务需要分割成小的数据集，在查询时能够通过where关键词选择指定分区，从而提高...
hive分区表分通表建表语句详解和例子
11-01
详细描述了hive分桶表，分区表的创建，附带详细建表语句，包含一级静态分区，二级静态分区，一级动态分区，二级动态分区，分区的查询，删除，添加，数据的导入
Hive分区表
01-07
分区表就是根据指定字段的值进行分类、分组，字段值相同的分为一类然后存储在一个单独的HDFS文件中，多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中，查询数据时只需要知道数据在哪个...
collabH#repository#Hive分区表和分桶表1
07-25
下面的我们创建一张雇员表作为测试：PARTITIONED BY (deptno INT) -- 按照部门编号进行分区ROW FORMAT DELIMITED F
Hive0.5中Partition简述
dajuezhao的专栏
07-21 4994
一、背景 1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by，详见表创建的语法结构。 二、技术细节 1、一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。 2、表和列名不
show partitions 分区查询
热门推荐
weixin_45063703的博客
10-21 1万+
前言 查询的分区情况 程序 Jupyter # 导入信息 from pyspark.sql import SparkSession, Row from pyspark import SQLContext from pyspark.sql.functions import udf, col, explode, collect_set, get_json_object, concat_ws, split from pyspark.sql.types import StringType, IntegerTy
学习hive
lixiaoguang0515的博客
09-28 1280
学习hive第一天 1.hive是一个可以将sql翻译为mr程序的工具,支持用户将hdfs上的文件映射为表结构,进行查询 2.HIVE将用户定义的库、表结构等信息存储hive的元数据库 3.hive的查询方式 第一中:交互式查询 hive>select * from t_1; 第二种:将hive作为命令一次性运行 hive -e "use default;create table tset_...
Git分支--超基础
XXL_SanSui的博客
09-19 484
Git分支 使用分支意味着你可以从开发主线上分离开来，不影响主线的同时继续工作。 初始的时候使用git branch命令，会看到当前有且仅有一个master分支 //创建一个新的分支是 git branch a01 //然后查看一下分支，分支前面的 “ * ”代表当前是哪个分支，如果需要切换分支，可以使用下面的命令 git checkput a01 //修改分支名称 git branch -m a01 b01 //删除一个分支 git branch -d a01 //创建一个新分支并切换到该分支上
hive day03
UUSUU的博客
09-25 928
修改列 新建表t_seq hive> create table t_seq like test_1; 添加列 hive> alter table t_seq add columns(address string,age int); 全部替换 hive>alter table t_seq replace columns(id int,name str...
hive常用语法
weixin_43824520的博客
09-06 447
hive基本操作 #查看数据库 show databases #查看表信息 show tables #查看分区 show partitions #查看函数 show functions #查看详细信息 (格式模糊) desc extended t_tablename; #查看详细信息 (格式清晰) desc formatted t_ta...
Hive分区表与分桶表的使用具体说明
Helen_1997_1997的博客
02-22 1507
分区表和分桶表涉及到了HQL优化：对底层数据的存储优化是分区表、分桶表、文件格式和压缩，另一种优化方式就是执行计划调参。分区表和分桶表没有必然的联系，二者是不同的概念。
hive 分区表与分桶表的区别
06-06
Hive是建立在Hadoop之上的数据仓库工具，支持SQL查询，用于处理大规模数据。在Hive中，分区表和分桶表是两种不同的表类型，它们的主要区别如下： 1. 存储方式不同：分区表会将数据按照指定的分区方式存储在不同的目录中，而分桶表则会将数据按照指定的桶数和桶列存储在同一个目录中。 2. 查询效率不同：由于分区表将数据划分到不同的目录中，查询时只需要扫描相关分区的数据，因此查询效率相对较高；而分桶表则需要根据桶数和桶列进行哈希计算，查询时需要读取整个桶，因此查询效率相对较低。 3. 数据倾斜问题不同：分桶表可以有效地处理数据倾斜问题，将数据均匀地分布在不同的桶中，而分区表则无法处理数据倾斜问题。 综上所述，分区表和分桶表都有各自的优缺点，需要根据具体的场景选择合适的表类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值