一文说透hive中的分桶及抽样查询

已于 2024-09-04 14:30:50 修改
阅读量1.7k 收藏 11
点赞数 1
分类专栏： 数字化建设通关指南 文章标签： hive 大数据
于 2020-03-29 22:59:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/105183512
版权

目录

0 引 言

1 分桶与分区的区别

2 分桶及抽样查询

3 小 结

0 引 言

    本文围绕hive中分桶问题进行展开研究，分析了hive分桶与分区的区别，分桶的相关原理、分桶的优势，并对分桶的操作方法进行详细论述，给出了具体的操作步骤及案例，本文所有的操作案例均在机器上得到验证，读者可根据本文所提供的思路快速学习到hive分桶的相关知识。

1 分桶与分区的区别

    分区针对的是数据的存储路径；分桶针对的是数据文件。

    分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是要确定合适的划分大小这个疑虑。分桶是将数据集分解成更容易管理的若干部分的另一个技术。

2 分桶及抽样查询

（1）分桶规则

分桶规则：对分桶字段值进行哈希，哈希值除以桶的个数求余，

了解本专栏 订阅专栏 解锁全文
莫叫石榴姐
关注
专栏目录
订阅专栏
hive分桶抽样查询
秃头小姐姐
03-13 284
分桶抽样查询      对于非常大的数据集，需要使用的是具有代表性的查询结果而不是全部。Hive可以通过对表进行`分桶抽样·来满足这个需求。 查询表stu_buck中的数据 hive (stu)> select * from stu_buck tablesample(bucket 1 out of 4 on id); tablesample tablesample是抽样语句 语法： TABLESAMPLE(BUCKET x OUT OF y) 含
Hive分桶表学习总结
主要分享大数据相关的知识，如Spark、Hudi
12-12 1809
前言 学习总结一下Hive的分桶表。 分桶规则：对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相同的在一个桶中。 优点：1、提高join查询效率 2、提高抽样效率 1、建表 通过 clustered by(字段名) into bucket_num buckets 分桶，意思是根据字段名分成bucket_num个桶 create table test_...
hive三种采样方式
最新发布
youyubuhuilei的博客
08-11 144
/ 推荐使 用这种。
Hive 分桶表
过河卒子Rover的博客
02-05 2835
hive 分桶表
Hive 分桶及抽样查询
myllxy
04-03 351
一.分桶表数据存储 分区针对的是数据的存储路径；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式，不过并非所有的数据集都能形成合适的分区，特别是之前提到过的要确定合适的划分大小这个顾虑。 分桶是将数据集分解成更容易管理的若干个部分。 先创建分桶表，通过直接导入数据文件的方式 （1）数据准备 （2）创建分桶表 它的文件目录结构是这样的： 和分区表没什么区别呢 （3）加载数据 ...
hive分桶查询详解以及分桶抽样
qq_45263520的博客
04-27 4094
分桶查询。hive的分桶查询。抽样查询，hive的抽样查询。分桶查询中的x和y的介绍。分桶查询中x和y的作用。
Hive中实现数据抽样的三种方法（数据块抽样、分桶抽样、随机抽样）使用与区别详解
weixin_43230682的博客
07-15 5416
前言 当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，下面结合具体例子分别学习。 准备工作 （1）新建测试用表：employInfo create table employInfo(deptID int,employID int,employNam
一文彻底学会hive分桶表（实战详解）
热门推荐
静待花开
03-30 1万+
本文目录一、分桶表概述1.1、什么是分桶表？1.2、分桶表和分区表有啥区别？二、分桶表实战2.1、创建一个分桶表2.2、准备数据2.3、向分桶表导入数据2.3.1、错误导入示范（引出分桶的本质）2.3.2、正确导入示范（引出分桶规则）2.4、分桶抽样三、总结3.1、分桶表的优点3.2、常用操作3.3、分桶表的实质及与分区表的区别 一、分桶表概述 1.1、什么是分桶表？ 分桶是将数据集分解成更容易管...
一文彻底了解Hive
shanhai3000的博客
08-10 606
基本概念 Hive是基于hadoop的一个数据仓库工具，是一种编程接口，处理结构化数据，将结构化的数据文件映射成表，并提供类SQL查询功能。 本质：将HQL转化为MR程序。 优缺点： 优点：采用类SQL语法，易上手；避免写MR程序，减少学习成本；吞吐量大；支持用户自定义函数 缺点：表达能力有限（受限于MR编程模型）；调优困难，粒度较粗 Hive架构原理 Hive安装及配置 Hive的安装很简单，解压安装包即可。 Hive需要修改的配置： hive-env.sh文件 export HADOOP_HOME=
Hive调优一文打尽
跟着大数据和AI去旅行
01-16 188
Hive调优一文打尽
Hive之分桶及抽样查询
qq_43193797的博客
01-13 379
总结：分桶时，要手动设置reduceTask的个数。 部门Id中，一共有5个不同的部门。 按照部门id进行分桶，必须设置reduceTask=5。分桶和MR中的分区是一个概念。通过分桶字段的hashCode进行运算，指定当前数据位于哪个文件（区） 1 分桶表数据存储        分区针对的是数据的存储路径(分区分的是文件)；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。...
Hive 之 查询 04-分桶及抽样查询
恋梦轩
04-02 568
记录了Hive查询中的 分桶及抽样查询 相关知识。
Hive分桶查询详解以及分桶抽样 操作Zeppelin练习hive
just_learing的博客
08-14 701
Hive分桶查询详解以及分桶抽样 操作Zeppelin练习hive
分桶及分桶抽样查询
weixin_40003829的博客
12-18 414
1.先创建普通表 2.在创建分桶表 (1)create table 表名 (字段 类型,…) clustered by(根据分桶的字段) into 分桶数 buckets row format delimited fields terminated by ‘根据什么分割’; create table stu_buck(id int, name string) clustered by(id) i...
Hive表的分桶查询
xiaoliuxxs
10-15 1222
第十讲
分桶及抽样查询
Knight
04-13 320
分区针对的是数据的存储路径；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理 的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。 1 先创建分桶表，通过直接导入数据文件的方式 （1）数据准备 1001 ss1 1002 ss2 1003 ss3 1004 ss4 1005 ss5 1...
Hive分桶表
feizuiku0116的博客
10-17 260
一、分桶表的创建 原始分桶表 create table test_tb_f ( id int, name string, age int, gender string ) row format delimited fields terminated by ','; 创建分桶表 create table test_tb_ft( id int, name string, age int, gender strin
hive的分桶抽样查询
09-03
Hive的分桶抽样查询是通过对分桶字段的值进行哈希运算，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中，从而实现对分桶数据的抽样查询。要进行分桶抽样查询，可以使用以下语句：select * from tablename tablesample(bucket x out of y);其中x表示选择的桶数，y表示总共的桶数。在进行分桶抽样查询之前，需要设置hive.enforce.bucketing=true，以确保分桶功能生效。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Hive 查询之分桶及抽样查询](https://blog.csdn.net/m0_37294838/article/details/89817783)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Hive 分桶及抽样查询](https://blog.csdn.net/qq_39327985/article/details/89002533)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值