Spark/Hive采样

最新推荐文章于 2024-05-22 03:02:15 发布

young-ming

最新推荐文章于 2024-05-22 03:02:15 发布

阅读量1.3k

点赞数

分类专栏： Spark Hive

本文链接：https://blog.csdn.net/u011750989/article/details/82144908

版权

Spark 同时被 2 个专栏收录

11 篇文章 0 订阅

订阅专栏

Hive

11 篇文章 0 订阅

订阅专栏

Hive

数据块取样
hive数据块采样
SELECT * FROM T TABLESAMPLE (50 PERCENT);
SELECT * FROM T TABLESAMPLE (30M);

分桶表取样
SELECT *
FROM T TABLESAMPLE (BUCKET 1 OUT OF 10 ON rand());

SELECT * FROM T TABLESAMPLE(BUCKET 1 OUT OF 10 ON id);

如果源表是已经分桶的表抽样，查询只会扫描相应桶中的数据，而基于未分桶表的抽样，查询时候需要扫描整表数据，先分桶，再抽样。

Spark

sample

sample(false, 0.5, System.currentTimeMillis());
对RDD进行抽样，其中参数withReplacement为true时表示抽样之后还放回，可以被多次抽样，false表示不放回；fraction表示抽样比例；seed为随机数种子，比如当前时间戳
第三个参数可以不填

takeSample

返回一个Array[T]；
该方法仅在预期结果数组很小的情况下使用，因为所有数据都被加载到driver的内存中。