HIVE 实现均匀抽样

最新推荐文章于 2024-08-11 21:50:10 发布
最新推荐文章于 2024-08-11 21:50:10 发布
阅读量1.9k 收藏 3
点赞数
分类专栏： hive 进阶 文章标签： HIVE 均匀抽样
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22222499/article/details/100167563
版权
在使用Hive处理大规模数据时，为了进行样本分析，文章介绍了如何实现数据的均匀抽样。通过利用ntile(n)函数将数据分为N等份，并结合时间排序，再使用row_number()函数进行内部排序，最后选取特定order_id即可达到均匀抽样的目的。
摘要由CSDN通过智能技术生成

文章目录

需求

用Hive处理数据的时候，如何做到均匀抽样？

思路

用这个函数 ntile(n) 分成N份 ，切分的方法，按照时间排序

ntile(24) OVER (PARTITION BY user_id ORDER BY create_time) order_id

现在已经均匀分成了N份，然后可以在N分中再用row_number()函数 ，再进行排序，取值

ROW_NUMBER() OVER(PARTITION BY user_id,order_id ORDER BY create_time) AS order_id1

然后根据 order_id1取值即可

wending-Y
关注
专栏目录
订阅专栏
大数据运维存档（8）数仓构建与Hive实现常识整理、生产中调优
Big_data_implicit_
12-27 4680
目录 一、数仓基础 1、数仓基本介绍 1.1、数仓基本概念 1.2、数仓的定义 1.2.1、面向主题 1.2.2、集成性 1.2.3、稳定性 1.2.4、时变性 1.3、数据仓库与数据库的区别 1.4、构建数仓常用手段 1.5、数仓分层 1.5.1、数仓分层描述 1.5.2、为什么要进行数仓分层 1.6、获取数据 1.7、同步策略 2、数据仓库建模 2.1、范式建模法（Third Normal Form 3NF） 2.2、维度建模法 2.2.1、维度表 2.2.2、事
Hive系列（三）Hive分区后数据仍划分不均？？Hive分桶教你怎么解决
qq_35050438的博客
06-17 2220
文章目录Hive分桶：-Buckets一：为什么要分桶？：--对数据的垂直切分解决方案二：分桶有什么用？：三：分桶遵循什么原理？四：怎么分桶？：第一步：创建分桶表：第二步：设置分桶规则：第三步：必须用insert方式加载数据：(除非你把严格分桶模式关闭)五：都是为了提高查找效率，索引和分桶和分区？ Hive分桶：-Buckets 一：为什么要分桶？：–对数据的垂直切分解决方案 问这个前提是因为我们已经有分区了，为什么又分桶呢？ 分区提供了一个隔离数据和优化查询的便利方式，不过并非所有的数据都可形成合理的分
Hive优化（3）之随机数避免数据倾斜
lpxuan151009的专栏
09-14 9663
发生数据倾斜时，通常的现象是： 任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 数据倾斜一般是由于代码中的join或group by或distinct的key分布不均导致的，大量经验表明数据倾斜的原因是人为的建表疏忽或业务可以规
hive三种采样方式
最新发布
youyubuhuilei的博客
08-11 146
/ 推荐使 用这种。
Hive：SQL请求将表拆分为大约相同大小的N个表？
斧王，不能再斩杀了吗的博客
07-17 1820
Hive：SQL请求将表拆分为大约相同大小的N个表？ Q:我有一个巨大的Hive表，由于单个本地节点安装上的Java堆大小不足，MapReduce作业无法处理。由于此节点上缺少物理内存，因此无法增加YARN堆大小。作为一个解决方法，我正在考虑将这个巨大的表分成几个大小相同且结构相同的小型表（模式）。假设有2 000 000条记录分为5个表，每个表有4 000 000条记录。 以这种方式拆分Hive表的SQL请求是什么？ A:首先，我会深入研究为什么你会出现堆大小错误。这通常表示配置错误的群集。理论上，Hiv
Hive表随机抽样取数
lquarius的博客
06-18 3689
1、按比例随机抽样 - 样本总量M, rand()<=(N/M+μ) 例如：如果抽10%的话 select * from table where rand()<=0.1; 特别注意的是：抽样迁先确认表的总记录数 反例：select * from tableorder by rand() limit 43659307; 2、精确取N条 - 样本总量M, 你可以先 rand()<=(N/M+μ), 取多一些随机样本 - 然后再在这些随机样本里随机取N条 这样一...
hive的排序，分組练习
diyingshou8608的博客
07-09 131
hive的排序，分組练习数据：添加表和插入数据(数据在Linux本地中)create table if not exists tab1( IP string, SOURCE string, TYPE string ) row ...
hive sql实现随机样本的选取
weixin_39793442的博客
07-24 3210
hive实现数据抽样一般有三种方法（参考http://www.bubuko.com/infodetail-1022686.html）： 1. 数据块抽样 (tablesample()函数） 利用tablesample() 函数， 根据hive表数据的大小按比例抽取数据，并保存到新的hive表中。 例子： 将原hive表10%的数据存到新表，但是select语句不能带where条件且不支持子查询，需要通过建中间表或随机抽样解决。 create table xxx_new as select *...
Hive
qq_17555249的博客
08-16 531
Hive基本概念 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL转化成MapReduce程序 Hive的优缺点 1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2)避免了去写MapReduce，减少开发人员的学习成本。 Hive优势在于处理大数据，对于处理小数据没有优势 5)Hive支持用户自定义函数，用户可以根据自己的需求来实
在hive里面如何对一个很大的数据量进行全局排序
m0_51769717的博客
03-28 904
distribute by可以通过指定字段然后再通过字段的hash值对分区数取余然后分到各个分区里面这样大大避免了数据倾斜的可能性然后再使用sort by对每个分区进行排序这样就组成了内部有序外部无序的数据集，但是他也不不能达到最终全局排序的结果需要进行一次归并排序。他会把数据分到各个Reduce Task里面进行排序但是这样也有问题他可能有分配不均匀问题导致一个Reduce Task的数量特别多导致数据倾斜。由于order by 会对数据进行全局排序导致所有数据分到一个分区里。
hive sql 分组随机取数
weixin_35057064的博客
10-09 1876
hive SQL 分组随机取数
Hive 分段采样
杨旭东的专栏
06-11 5064
需求 从某Hive Table中按照某字段的值的排名（rank）分成N组，第1组为排名前 1/N的内容，第2组为排名前1/N ~ 2/N的内容，…，依次类推。然后每组内部随着采样M条记录。 案例 某搜索引擎的搜索日志中，按照每日搜索次数降序排列搜索关键词（query），按照排名分成10组，第1组为搜索次数排名前10%的记录；第2组为搜索次数排名前10%~20%之间的记录；第3组为搜索次数排名...
hive top10 sql简化实现方法
tanhaidi的博客
07-15 2191
最近接手一个项目，好多报表都要去top10展示，在写sql的时候发现需要一层套一层，一层套一层，至少需要套三层以上；然后就在想，这个sql能不能精简一下？看着更加清晰一些呢？ 我们来看一个简单的例子，表数据如下： 需求是看城市用户数的top10 按正常的思路，是先按城市分组统计人数，然后用开窗函数做排名，再然后取排名前10。 通过这个思路写出的sql SELECT cityname ,cnt FROM ( SELECT cityname ,cnt ,row_n
hive sql 拆解字段
sun13047140038的博客
08-19 1968
在Hive SQL中，拆解字段通常涉及到字符串操作，如将一个包含多个部分的字符串拆解成多个独立的字段。2. SPLIT(str, delimiter)：使用SPLIT函数可以根据指定的分隔符将字符串拆分为一个数组，这对于将含有多个值的字符串拆分成独立的字段非常有用。你可以指定起始位置和要提取的长度。在Hive SQL中，利用这些字符串函数可以很灵活地拆解字段，从而从复杂的字符串中提取所需的信息。-- 输出: ["apple", "banana", "cherry"]-- 输出: 2023-08-18。
hive取等分数据
weixin_30951389的博客
07-09 1937
1 %sql 2 select 3 t3.* 4 from ( 5 select 6 t2.* 7 ,row_number() over(partition by t2.pt order by t2.pv) as rn2 8 from ( 9 select 10 ...
hive 筛选人平均分组方式
weixin_44788745的博客
10-29 529
随机分，如果有部分字段为空， 可能按照条数来分需要check 下 1, ntile(6) over() as group_flag 这样就可以随机分组 按照降序 2, NTILE(6) OVER(ORDER BY mobile DESC ) AS rank2
Hive窗口函数之累积值、平均值、首尾值的计算学习
BabyFish13
11-16 2万+
Hive窗口函数可以计算一定范围内、一定值域内、或者一段时间内的累积和以及移动平均值等；可以结合聚集函数SUM() 、AVG()等使用；可以结合FIRST_VALUE() 和LAST_VALUE()，返回窗口的第一个和最后一个值。 - 如果只使用partition by子句,未指定order by的话,我们的聚合是分组内的聚合.  - 使用了order by子句,未使用window子句的情况下
Hive Hive中的数据分桶 以及 使用场景
热门推荐
迎难而上
07-04 5万+
参考文章：hive分桶管理https://blog.csdn.net/freefish_yzx/article/details/77150714hive的分区和分桶https://blog.csdn.net/wl1411956542/article/details/52931499Hive中有数据分区的方案，也有数据分桶的方案，今天我们就来探讨下数据分桶 以及数据分桶使用的场景。该篇文章主要分为一...
hive 实现正态分布抽样
12-11
在Hive中实现正态分布抽样的方法可以通过使用内置的函数和UDF来实现。首先，我们可以使用Hive中的rand()函数生成一个0到1之间的随机数，然后利用正态分布的累积分布函数（CDF）来将这个随机数转换成符合正态分布的数值。具体步骤如下： 1. 首先，我们需要编写一个UDF函数来计算正态分布的累积分布函数（CDF），这个函数可以使用概率统计库中的一些算法来实现。例如，我们可以使用Java或Python编写一个UDF，然后在Hive中注册这个UDF函数。 2. 其次，我们可以使用Hive中的rand()函数生成一个0到1之间的随机数。这个随机数可以理解为在正态分布的横坐标范围内抽样。 3. 然后，利用上面定义的CDF函数，将上一步生成的随机数转换成对应的正态分布数值。这样就实现了在Hive中根据正态分布进行抽样。 通过以上方法，我们可以在Hive中实现对正态分布的抽样操作。这样可以方便地在Hive平台上进行大规模数据的正态分布抽样，用于数据分析、模拟实验等场景。同时，该方法也可以结合Hive中的其他数据处理和计算功能，实现更复杂的数据分析任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wending-Y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值