复习:聊聊hive随机采样①

最新推荐文章于 2024-07-11 15:27:16 发布
最新推荐文章于 2024-07-11 15:27:16 发布
阅读量6.2k 收藏 24
点赞数 9
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rlnlo2pnefx9c/article/details/82121139
版权
640?wx_fmt=png

数据量大的时候，对数据进行采样，然后再做模型分析。作为数据仓库的必备品hive，我们如何对其进行采样呢？

当然，浪尖写本文还有另一个目的就是复习hive的四by。不止是否有印象呢？

Hive : SORT BY vs ORDER BY vs DISTRIBUTE BY vs CLUSTER BY

欢迎点击阅读原文，加入浪尖知识星球。

640?wx_fmt=png


假设有一张包含100亿行的Hive表，希望有效地随机抽样一个固定行数的数据 - 比如10000。最明显（而且显然是错误的）的方法是：

select * from my_table
最低0.47元/天 解锁文章
浪尖聊大数据-浪尖
关注
专栏目录
Hive连接报错：Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000
zhengzaifeidelushang的博客
05-19 4174
Hive连接报错： Could not open client transport with JDBC Uri: jdbc:hive2://192.168.216.128:10000: java.net.ConnectException: Connection refused: connect java.net.ConnectException: Connection refused: connect java.net.ConnectException: Connection refused: connec
Hive中获取每组数据中id最大的数据
limenghao2002的博客
05-25 340
题目：重复数据只保留一条id最大的。
Hive中的数据采样
jmx_bigdata的博客
03-02 3849
当数据集比较大时，可能需要通过采集一部分数据集进行分析，称之为采样。在HQL中支持三种方式的采样：随机采样(random sampling)、分桶表采样(bucket table sampling)以及块采样（block sampling）。 1.随机采样 随机采样使用rand()函数和limit关键字。其中distribute和sort关键字用来保证抽取的数据是随机分布的，这种方式比较有效率...
Hive之rand()随机种子问题，数据不一致
最新发布
Sonnie0000001的博客
07-11 498
hive函数造数据
Hive进行数据抽样-Sampling
theodore的专栏
03-15 2955
原文链接：http://superlxw1234.iteye.com/blog/2233160?utm_source=tuicool&utm_medium=referral 关键字：Hive数据取样、Hive Sampling、Hive TABLESAMPLE. 在Hive中提供了数据取样（SAMPLING）的功能，用来从Hive表中根据一定的规则进行数据取样，Hive中的数据取样支持
hive随机采样
不可能打工的博客
09-07 1013
数据量大的时候，对数据进行采样，然后再做模型分析。作为数据仓库的必备品hive，我们如何对其进行采样呢？ 假设有一张包含100亿行的Hive表，希望有效地随机抽样一个固定行数的数据 - 比如10000。最明显(而且显然是错误的)的方法是： select * from my_table limit 10000; 如果不对表进行排序，Hive不保证数据的顺序，但在实践中，它们按照它们在文件中的顺序返回...
hive 随机抽样
duncan
01-22 1397
1. Random sampling 使用RAND()函数和LIMIT关键字来获取样例数据。使用DISTRIBUTE和SORT关键字来保证数据是随机分散到mapper和reducer的。ORDER BY RAND()语句可以获得同样的效果，但是性能没这么高。 --Syntax：         SELECT * FROM <Table_Name> DISTRIBUTE BY ...
Hive｜Hive 随机抽样方法（TABLESAMPLE 方法、随机数方法）
长行
01-19 1139
获取的 20 行和不加该字句获得的前 20 行相同，怀疑可能就是抽取 HDFS 文件中从前往后获取到满足指定条件的行数。也可能是我的使用方法有问题，如有更优方法欢迎指出。最简单的随机抽样，就是将所有给所有记录添加一个随机数，然后排序筛选其中最小的目标条数即可。在 Hive 中，对于。但是，经过以上语句测试，这个语法似乎不是随机抽样，我发现使用。字句用于从 Hive 中抽取样本数据。是有优化的，不会出现全量排序导致数据倾斜的问题。中随机抽取 1000 条样本数据。
报错Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open
Sdwq12的博客
04-18 3256
第一步启动 hadoop集群 第二步启动：（远程连接服务） 第三步启动：（元数据）可断开 第四步启动： 第五建立对外端口： 第六步连接DataGrip 解决报错方案： 在hadoop中/etc/hadoop/core-site.xml（/opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml）增加如下配置 <name>hadoop.proxyuser.xxx.hosts</name> <va.
hive启动报错：Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be
Johnmay--Blog
02-17 2991
[root@slave bin]# ./hive 17/02/17 23:27:57 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist Logging initialized using configuration in file:/home/hadoop/hive-1.2.1/conf/hive-
hive对数据进行随机取样
zcb_data的博客
07-26 441
hive对数据进行随机取样。
Hive实现随机抽样（附详解）
qq_654603797
01-05 9334
select * from tab order by rand() limit 1000 select * from ( select e.*, cast(rand() * 100000 as int) as idx from e ) t order by t.idx limit 1000 表e为一个普通的表，里面存有数据，我们要从表e中随机抽出1000条数据作为数据样本。 2，ran...
Hive Sampling 抽样函数：Random随机抽样、Block 基于数据块抽样、Bucket table 基于分桶表抽样
pljnb的博客
02-20 464
Hive Sampling 抽样函数：Random随机抽样、Block 基于数据块抽样、Bucket table 基于分桶表抽样
Hive--数据抽样的常用三种方法(随机/数据块/分桶)
qq_46893497的博客
11-26 4784
1、随机抽样（rand()函数） 方法一:order by与rand函数结合 limit关键字限制抽样返回的数据 案例:order by 全局排序耗时长 select * from app.table_name order by rand() limit 100; 方法二:distribute和sort与rand函数结合 limit关键字限制抽样返回的数据 案例:rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的 select * fro
大数据之Hive（三）：Hive数据抽样
Oak_Komorebi的博客
08-17 530
当数据规模不断膨胀时，我们需要找到一个数据的子集来加快数据分析效率。因此我们就需要通过筛选和分析数据集为了进行模式 & 趋势识别。目前来说有三种方式来进行抽样：随机抽样，桶表抽样，和块抽样。 3.1 随机抽样 关键词：rand()函数。 使用rand()函数进行随机抽样，limit关键字限制抽样返回的数据，其中rand函数前的distribute和sort关键字可以保证数据在mapper和reducer阶段是随机分布的。 案例如下： select*fromtable_name w...
Hive表随机抽样
weixin_44597588的博客
08-09 832
Hive表随机抽样
Hive 的统计信息和数据采样
互联网知识分享
08-06 854
统计信息可以提供表和分区的数据分布、列的基本统计数据等信息，帮助查询优化器生成更好的执行计划。中，可以使用数据采样来快速预览表或分区的数据分布情况。可以根据具体需求选择不同的统计信息和采样方法来优化查询性能和分析数据。这个命令将计算指定分区的统计信息，并将其存储在元数据中。此命令会遍历表的所有分区，并计算每个分区的统计信息。如果表中有分区，可以对分区级别的统计信息进行收集。这个命令将计算指定列的统计信息，并将其存储在元数据中。表级统计信息包括表的总行数、总字节数、列的基本统计信息等。
Hive学习之抽样（Sampling）
热门推荐
skyWalker_ONLY
09-18 2万+
当数据量特别大时，对全体数据进行处理存在困难时，抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性，是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。 Hive支持桶表抽样和块抽样，下面分别学习。所谓桶表指的是在创建表时使用CLUSTERED BY子句创建了桶的表。桶表抽样的语法如下： table_sample: TABLESAMPLE (BUCKET x
Hadoop与Hive优化实战：MapReduce调优与Hive技巧
“Hadoop与Hive资料”涵盖了关于Hadoop和Hive的多个主题，包括数据平台的发展、MapReduce的优化、Hive的调优、数据处理策略以及Hadoop的适用场景和调优方法。 Hadoop是分布式计算框架，主要用于处理和存储大规模...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值