Hive中分桶及抽样查询

最新推荐文章于 2022-10-27 08:02:59 发布
最新推荐文章于 2022-10-27 08:02:59 发布
阅读量97 收藏 1
点赞数 1
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010395024/article/details/103142832
版权
本文详细介绍了Hive中的分桶表概念和创建方法，包括通过直接导入数据和子查询导入的方式，并展示了如何设置属性以实现正确分桶。此外，还探讨了分桶抽样查询的用法，以及数据块抽样的概念，提供了抽样查询的示例。
摘要由CSDN通过智能技术生成

1.分桶表

分桶表数据存储

          分区针对的是数据的存储路径;分桶针对的是数据文件
         分区提供一个隔离数据和优化查询的便利方式。不过,并非所有的数据集都可形成合理的分区,特别是之前所提到过的要确定合适的划分大小这个疑虑。
         分桶是将数据集分解成更容易管理的若干部分的另一个技术

数据准备

student.txt



  • 1001        ss1
     


  • 1002        ss2
     


  • 1003        ss3
     


  • 1004        ss4
     


  • 1005        ss5
     


  • 1006        ss6
     


  • 1007        ss7
     


  • 1008        ss8
     


  • 1009        ss9
     


  • 1010        ss10
     


  • 1011        ss11
     


  • 1012        ss12
     


  • 1013        ss13
     


  • 1014        ss14
     


  • 1015        ss15
     


  • 1016        ss16

     

1)先创建分桶表,通过

最低0.47元/天 解锁文章
码农的世界，你不懂
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive分桶抽样查询
秃头小姐姐
03-13 272
分桶抽样查询      对于非常大的数据集，需要使用的是具有代表性的查询结果而不是全部。Hive可以通过对表进行`分桶抽样·来满足这个需求。 查询表stu_buck中的数据 hive (stu)> select * from stu_buck tablesample(bucket 1 out of 4 on id); tablesample tablesample是抽样语句 语法： TABLESAMPLE(BUCKET x OUT OF y) 含
hive 抽样查询
DaDiNiWangGe的博客
05-28 282
记录一个遇到的hive基于行数的抽样查询。 行数被用在每个split中。因此总的行数根据输入的split数而变化很大。语法格式为： block_sample: TABLESAMPLE (n ROWS) 例如下面的查询将从每个split中抽取10行： SELECT * FROM source TABLESAMPLE(10 ROWS); ...
Hive抽样查询
BabyFish13
01-31 2442
当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 在Hive中提供了数据取样（SAMPLING）的功能，用来从Hive表中根据一定的规则进行数据取样，Hive中可以使用三种方式获得采样数据：random sampling，bucket sampling，bl
Hive操作（集合操作，删除表操作）
aiduo3346的博客
09-04 315
（一）集合数据类型 数据类型 描述 语法示例 STRUCT 和c语言中的struct类似，都可以通过“点”符号访问元素内容。例如，如果某个列的数据类型是STRUCT{firstSTRING,lastSTRING},那么第1个元素可以通过字段.first来引用。 struct() MAP ...
Hive 中 分桶表 和 抽样查询
weixin_52346735的博客
12-02 162
我们知道 分区表呢 是将数据分文件夹管理 , 减少数据扫描的文件范围 直接从对应文件夹中读取数据 ， 但如果有时候分区表中的数据也大的时候，我们读取数据的时候，表之间需要 join 的 时候 会判断所有数据 进行读取扫描 ，效率不高 这时候我们可以把分区表中的数据进行分割 就是HIve中的分桶表 分桶表 是 对join 对查询的优化 将数据按照指定的字段的规则分文件 1 创建普通表 导入数据 2 创建分桶表 3 开启分桶功能 4 使用insert into的方式导入数据 到 分桶表中 1
hive中分桶、视图、侧视图的用法
weixin_49165958的博客
12-10 455
目录1.分桶2.视图3.侧视图（lateral view） 1.分桶 首先明确一点： 分区对应的是文件夹 分桶对应的是文件 分桶对应于HDFS中的文件 更高的查询处理效率 使抽样（sampling）更高效 根据“桶列”的哈希函数将数据进行分桶 1.创建一个分桶表，关键字是clustered create table if not exists hr_bucket( name string, id int, num string, time2 string ) clustered by (id) int
Hive中实现数据抽样的三种方法（数据块抽样、分桶抽样、随机抽样）使用与区别详解
weixin_43230682的博客
07-15 5376
前言 当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，下面结合具体例子分别学习。 准备工作 （1）新建测试用表：employInfo create table employInfo(deptID int,employID int,employNam
Hive 随机取样-抽样查询
流风雨情的博客
03-03 8874
背景 在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作 Hive提供了数据取样（SAMPLING）的功能，能够根据一定的规则进行数据抽样，目前支持数据块抽样，分桶抽样和随机抽样，具体如下所示： 随机抽样（rand()函数） 使用rand()函数进行随机抽样，limit关键字限制抽样返回的数据，...
Hive中的数据分桶
小小良
11-10 2993
参考文章： hive分桶管理 https://blog.csdn.net/freefish_yzx/article/details/77150714 hive的分区和分桶 https://blog.csdn.net/wl1411956542/article/details/52931499 ---------------------------------------------------------------------------------------------------------
[Hive]Hive实现抽样查询
热门推荐
TOMACAT的博客
08-16 2万+
对于非常大的数据集，有时用户需要使用的知识一个具有代表性的查询结果，而不是全部结果。Hive可以通过对表进行分桶抽样来满足这个需求。 1、分桶抽样查询 select * from numbers TABLESAMPLE(BUCKET 3 OUT OF 10 ON number) s; 其中tablesample是抽样语句，语法：TABLESAMPLE(BUCKET x OUT OF y)...
hive分桶及抽样查询
qq_36250202的博客
05-07 454
分区针对的是数据的存储路径；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。 1．先创建分桶表，再创建一张普通表 （1）数据准备 创建一个student.txt,内容如下： 1001 ss1 1002 ss2 1003 ...
Hive-2.HiveQL查询中抽样查询
艾文
01-27 5221
当数据集非常大的时候，我们需要找一个子集来加快数据分析。此时我们需要数据采集工具以获得需要的子集。在此可以使用三种方式获得采样数据：random sampling， bucket sampling， block sampling。 8.1随机抽样（Random sampling ）  使用RAND()函数和LIMIT关键字来获取样例数据，使用DISTRIBUTE和SORT关键字来保证数据是随机
hive 抽样查询(有时间再研究研究) *
张俊杰 的博客
09-26 557
简介 对于非常大的数据集，有时用户需要使用的是一个具有代表性的查询结果而不是全部结果。Hive可以通过对表进行抽样来满足这个需求。 就是随机查询 抽样查询 是查询语句,只不过写的时候有指定的格式. 就是按照规则查询指定的桶的数据 语法和要求 ①抽样查询的表必须是分桶表！ ②bucket x out of y on 分桶表分桶字段 假设当前表一共分了z个桶 x: 从当前表的第几桶开始抽样 0<x<=y x不能小于y,可以等于y ,如果等于y就是查询所有了. y: z/y 代表一共抽
Hive _分桶及抽样查询
乔治大哥的博客
11-04 792
分桶及抽样查询 1、分桶表数据存储 分区针对的是数据的存储路径；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区，特别是之前所提到过的要确定合适的划分大小这个疑虑。 分桶是将数据集分解成更容易管理的若干部分的另一个技术。 hive (default)> show databases; OK database_name de...
Hive的排序以及分桶抽样查询
张不帅
11-18 1084
排序 全局排序(Order by) :一个MapReduce 使用order by子句查询 ASC(ascend):升序(默认) DESC(descend):降序 Order by子句在Select语句结尾 查询员工信息按工资升序排列 select * from emp order by sal; 查询员工信息按工资降序排列 select * from emp order by sal ...
HIVE基本查询操作（二）——第3关：Hive抽样查询
大家一起入坑
10-27 2278
为了完成本关任务，你需要掌握：1.随机抽样 2.桶表抽样 3.数据块抽样。采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。根据提示，在右侧编辑器补充代码，计算每个股票每天的交易量。语句可以获得同样的效果，但是性能没这么高。到指定的桶中，这样可以支持高效采样工作。本关任务：计算每个股票每天的总交易量。也是 针对某一列进行桶的组织。把表（或者分区）组织成桶（行数据，数据总量的百分比（开始你的任务吧，祝你成功！
Hive之分桶及抽样查询
qq_43193797的博客
01-13 375
总结：分桶时，要手动设置reduceTask的个数。 部门Id中，一共有5个不同的部门。 按照部门id进行分桶，必须设置reduceTask=5。分桶和MR中的分区是一个概念。通过分桶字段的hashCode进行运算，指定当前数据位于哪个文件（区） 1 分桶表数据存储        分区针对的是数据的存储路径(分区分的是文件)；分桶针对的是数据文件。 分区提供一个隔离数据和优化查询的便利方式。...
hive中分桶表具体怎么分桶的
最新发布
07-23
在Hive中，分桶表是通过对数据进行哈希分桶来进行数据存储和查询的。具体来说，分桶表的分桶过程如下： 1. 创建表时指定分桶属性：在创建表时，需要使用"CLUSTERED BY"关键字来指定分桶的列，例如： ``` CREATE TABLE table_name (column1 data_type, column2 data_type, ...) CLUSTERED BY (bucketed_column) INTO num_buckets BUCKETS; ``` 其中，`bucketed_column`是进行分桶的列，`num_buckets`是分桶的数量。 2. 数据插入和分桶：在插入数据时，Hive会根据指定的分桶列的值进行哈希运算，并将数据根据哈希结果放入对应的桶中。每个桶都对应一个文件或一个文件夹。 3. 查询时的优化：当执行查询操作时，Hive会根据查询条件中涉及到的分桶列的值进行哈希运算，并只读取相关桶中的数据，从而减少需要扫描的数据量，提高查询效率。 需要注意的是，分桶表的分桶列应该是具有较好的分布性，即不同值的分布应该均匀，这样可以避免数据倾斜导致某些桶的数据量过大或过小。 另外，可以使用`CLUSTERED BY (bucketed_column) SORTED BY (sorted_column)`语句来进一步对分桶表进行排序，提高查询效率。这样可以在桶内对数据进行排序，并在查询时利用有序的数据进行更高效的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值