sample采样的一点记载

最新推荐文章于 2021-10-29 14:50:35 发布
最新推荐文章于 2021-10-29 14:50:35 发布
阅读量235 收藏
点赞数

今天发现系统上线的有个sql语句用到了sample，也就是对表段的数据进行抽量采样。

SQL> create table t_samp01 as select * from dba_objects;

表已创建。

SQL> set autotrace traceonly

SQL> select * from t_samp01;

已选择72073行。

执行计划

----------------------------------------------------------

Plan hash value: 997462556

------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time

------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 77447 | 15M| 289 (1)| 00:0

| 1 | TABLE ACCESS FULL| T_SAMP01 | 77447 | 15M| 289 (1)| 00:0

------------------------------------------------------------------------

Note

-----

- dynamic sampling used for this statement (level=2)

统计信息

----------------------------------------------------------

328 recursive calls

0 db block gets

5873 consistent gets

1026 physical reads

0 redo size

7994136 bytes sent via SQL*Net to client

53259 bytes received via SQL*Net from client

4806 SQL*Net roundtrips to/from client

0 sorts (memory)

0 sorts (disk)

72073 rows processed

SQL> select * from t_samp01 sample(10);

已选择7092行。

执行计划

----------------------------------------------------------

Plan hash value: 2892340515

------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Ti

------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 774 | 165K| 287 (0)| 00

| 1 | TABLE ACCESS SAMPLE| T_SAMP01 | 774 | 165K| 287 (0)| 00

------------------------------------------------------------------------

Note

-----

- dynamic sampling used for this statement (level=2)

统计信息

----------------------------------------------------------

4 recursive calls

0 db block gets

1513 consistent gets

0 physical reads

0 redo size

788018 bytes sent via SQL*Net to client

5607 bytes received via SQL*Net from client

474 SQL*Net roundtrips to/from client

0 sorts (memory)

0 sorts (disk)

7092 rows processed

SQL> select * from t_samp01 sample block(10);

未选定行

执行计划

----------------------------------------------------------

Plan hash value: 2892340515

--------------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes | Cost (%CPU)| Time |

--------------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 774 | 165K| 30 (0)| 00:00:01 |

| 1 | TABLE ACCESS SAMPLE| T_SAMP01 | 774 | 165K| 30 (0)| 00:00:01 |

--------------------------------------------------------------------------------

Note

-----

- dynamic sampling used for this statement (level=2)

统计信息

----------------------------------------------------------

4 recursive calls

0 db block gets

76 consistent gets

0 physical reads

0 redo size

1184 bytes sent via SQL*Net to client

404 bytes received via SQL*Net from client

1 SQL*Net roundtrips to/from client

0 sorts (memory)

0 sorts (disk)

0 rows processed

可以看出sample的对执行计划的cost消耗并没有改变，是对采取后的数据进行采样区分的，而sample block是先对block进行采样然后检索。

SQL> select count(*) from t_samp01 sample(10);

COUNT(*)

----------

7095

SQL> select count(*) from t_samp01 sample(10);

COUNT(*)

----------

7215

SQL> select count(*) from t_samp01 sample(10) seed(1);

COUNT(*)

----------

7248

SQL> select count(*) from t_samp01 sample(10) seed(1);

COUNT(*)

----------

7248

通过第一次执行计划我们看见了row和实际返回的数据还是有较大的区别的，通过统计信息的sample返回的并不一定是正确的值，而且通过block的方式对于执行计划中只会对block进行抽样，这样还是会减少一定的IO消耗的了。注意上面写上seed后，扫描的结果不会变化。

也可以利用index来进行抽样。

SQL> explain plan for select * from t_obj01 sample(10) where owner='XIAOYU' ;

Explained

SQL> select * from table(dbms_xplan.display());

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1086466707

--------------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes | Cost (%CPU)|

--------------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 5 | 1095 | 4 (0)|

| 1 | TABLE ACCESS BY INDEX ROWID| T_OBJ01 | 5 | 1095 | 4 (0)|

|* 2 | INDEX RANGE SCAN | INDEX_YY02 | 5 | | 2 (0)|

--------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

2 - access("OWNER"='XIAOYU')

filter(ORA_HASH(ROWID,0,1843020923,'SYS_SAMPLE',0)<429496730)

Note

-----

- dynamic sampling used for this statement (level=2)

19 rows selected

可以看出这个抽样在index第一步就进行了抽样检索了，然后再根据index range scan来返回数据行。

SQL> explain plan for select * from t_obj01 where owner='XIAOYU' ;

Explained

SQL> select * from table(dbms_xplan.display());

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1086466707

--------------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes | Cost (%CPU)|

--------------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 45 | 9315 | 3 (0)|

| 1 | TABLE ACCESS BY INDEX ROWID| T_OBJ01 | 45 | 9315 | 3 (0)|

|* 2 | INDEX RANGE SCAN | INDEX_YY02 | 45 | | 1 (0)|

--------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

2 - access("OWNER"='XIAOYU')

Note

-----

- dynamic sampling used for this statement (level=2)

18 rows selected

SQL> select * from t_obj01 sample block(10) where owner='XIAOYU' ;

OWNER OBJECT_NAME SUBOBJECT_NAME OBJECT_ID DATA_OBJECT_ID OBJECT_TYPE CREATED LAST_DDL_TIME TIMESTAMP STATUS TEMPORARY GENERATED SECONDARY NAMESPACE EDITION_NAME

------------------------------ -------------------------------------------------------------------------------- ------------------------------ ---------- -------------- ------------------- ----------- ------------- ------------------- ------- --------- --------- --------- ---------- ------------------------------

XIAOYU SYS_LOB0000073644C00004$$ 73648 73648 LOB 2012/5/17 9 2012/5/18 15: 2012-05-18:15:06:19 VALID N Y N 8

XIAOYU ORD_DETAILS 73916 73916 TABLE 2012/5/21 2 2012/5/21 22: 2012-05-21:22:57:22 VALID N N N 1

XIAOYU T_OBJ01 74510 74510 TABLE 2012/6/19 1 2012/6/19 10: 2012-06-19:10:40:11 VALID N N N 1

XIAOYU TT13 74105 74105 TABLE 2012/5/31 1 2012/5/31 11: 2012-05-31:11:27:53 VALID N N N 1

XIAOYU PARTITION_TEST01 P4

SQL> select * from table(dbms_xplan.display_cursor());

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

SQL_ID c4xak3jnwbdbt, child number 0

-------------------------------------

select * from t_obj01 sample block(10) where owner='XIAOYU'

Plan hash value: 1086466707

--------------------------------------------------------------------------------

----------

| Id | Operation | Name | Rows | Bytes | Cost (%CPU)|

Time |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

----------

| 0 | SELECT STATEMENT | | | | 4 (100)|

|

| 1 | TABLE ACCESS BY INDEX ROWID| T_OBJ01 | 5 | 1095 | 4 (0)|

00:00:01 |

|* 2 | INDEX RANGE SCAN | INDEX_YY02 | 5 | | 2 (0)|

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

00:00:01 |

--------------------------------------------------------------------------------

----------

Predicate Information (identified by operation id):

---------------------------------------------------

2 - access("OWNER"='XIAOYU')

filter(ORA_HASH(ROWID,0,370515066,'SYS_SAMPLE_BLOCK',0)<429496730)

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Note

-----

- dynamic sampling used for this statement (level=2)

已选择24行。

看出在sample block同样也是先对索引进行block的抽样然后index range scan，其实抽样都是源于执行计划来进行的，而且仅仅只能针对单表，多表抽样是无法在oracle中实现的！

[@more@]

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/25362835/viewspace-1058583/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/25362835/viewspace-1058583/

cuiheji0772
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark 3.0 - 10.Ml 常用 Sample 采样方法
BITDDD小栈
12-05 744
Spark 3.0 ML 常用采样方法。
oracle SQL sample 随机抽样查询
Alvin0410的专栏
11-06 6207
创建测试表 SQL> create table t1 (x int); Table created. 插入 SQL> begin   2  for i in 1..10000 loop   3  insert into t1 values (i);   4  end loop;   5  end;   6  / PL/SQL procedure succes
RNN中输出端的sample采样
jasonzzj的博客
03-04 2657
在Theano中，有如下定义的函数可供sequence to sequence 模型来使用sample功能： def sample(preds, temperature=1.0): # function to sample an index from a probability array # temperature = (0, 1.0] # https://github
sample（）采样
Huc673619的博客
10-29 407
1）函数签名 def sample( withReplacement:Boolean, faction:Double, seed:Long=Utils.random.nextLong):RDD[T] //withReplacement:true为有放回的抽样，false为无放回的抽样； //fraction表示：以指定的随机种子随机抽样出数量为fraction的数据； //seed表示：指定随机数生成器种子 2）功能说明 从大量的数据中采样 3）需求说明：创建一个RDD（1-10），从中选择放
sql 采样
mtj66的博客，交流WX:SpringBreeze1104
02-28 3637
方式1. 随机采样,抽取百分之5 的数据 rand(id)&lt;0.05 -- 随机采样 -- create table tmp_info_ycf as -- select * from info_ycf where rand(policy_id )&lt; 0.03 limit 20000 ; -- ; 方式2. 根据某个字段进行统计,数据尽量均匀, create table...
android downsample降低音频采样频率代码
09-04
在Android平台上，音频处理是一个重要的任务，特别...总的来说，Android音频处理中，downsample是改变音频采样率的一种技术，常用于优化存储和处理资源。`SSRC`库是一个强大的工具，可以帮助开发者轻松地实现这一功能。
down_sample下采样
11-19
matlab 对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样
creat_sample.rar_数据点采样
09-24
本文将深入探讨“creat_sample.rar_数据点采样”这一主题，包括采样设计、属性因子的添加以及面积加权样点数据的生成。 首先，我们要理解什么是数据点采样。在地理学和遥感分析中，数据点采样通常指的是从大范围的...
下采样程序
07-25
完整的下采样程序可直接使用。
sample随机抽样
wyqwilliam的博客
09-05 1506
mysql随机抽样
小猪奋斗
09-27 7009
sql:SELECT * FROM student ORDER BY RAND() LIMIT 5 SELECT * FROM `student` WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `student` ) ORDER BY id LIMIT 1;参考：https://my.oschina.net/leejun2005/blog/991
使用pymc3可能遇到的问题及解决方法
Mr.horse的博客
08-02 6991
PyMC3机器学习库，基于heano, NumPy, SciPy, Pandas, 和 Matplotlib。 安装 pip install pymc3，pip命令可以安装pymc3并安装其依赖库 首次运行报错 这可能是缺少某些依赖库导致的，根据报错信息安装即可 运行出现一长串c代码，或者说c代码被存放在某个目录,或者说没有c++编译器 解决方案：conda install mingw...
9 spark入门之采样、搜集部分结果sample、takeOrdered
热门推荐
tianyaleixiaowu的专栏
04-24 1万+
spark提供了对结果集RDD进行随机采样，即获取一小部分数据的功能。其中有sample、takeSample、takeOrdered等方法。import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.SparkSes...
spark sample采样
祁东握力的博客
12-03 2475
def sample(withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T] 参数解释： 1、参数withReplacement： 网上找了很多资料没有详细讲这一块，然后被他们描述的一脸懵逼，再然后不知怎么的就反应过来，这tm是大一还是大二的数学课教的概率。。 记得有个...
sample 算子_算子：sample(false, 0.1)抽样数据
weixin_33603656的博客
01-13 604
抽样示例操作：scala> import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.sql.hive.HiveContextscala> val hiveContext = new HiveContext(sc)17/11/07 17:19:36 WARN SessionState: load mapred...
SAMPLE语句（三）
ckawt40802的专栏
10-10 225
Oracle支持SELECT语句只扫描表的一部分记录。 这篇简单介绍INDEX扫描的SAMPLE语句。 SAMPLE语句（一）：http://yangtingkun.itpub.net/post/468/506602 SA...
PyMC3 API 解读（二）—— sample() 函数
stepondust 的课堂
05-18 4796
通过本篇博文我们来了解一下 sample() 函数，这个函数的参数比较多，接下来对这些参数一个一个来解释，帮助大家弄清楚它们分别代表什么意思： draws：int 类型，表示通过 MCMC 方法采样出的正式样本的数量，默认为 500，这里的正式样本是相对于预烧期样本来说的，预烧期的样本数量对应参数 tune，等下也会解释它，这里举个例子，假如将 draws=5000, tune=1000 传入 sample() 函数，那么对于一条 MCMC 链来说，前面 1000 个采样出来的样本不算进正式的采样样本……
随机将采样randomsample
最新发布
06-07
可以使用 `random.sample` 函数来随机将数据集进行采样。其中，需要指定数据集和采样的大小，示例代码如下： ```python import random dataset = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] sample_size = 5 sample = random.sample(dataset, sample_size) print(sample) ``` 输出结果可能为： ``` [3, 9, 8, 2, 5] ``` 其中，`dataset` 是要随机采样的数据集，`sample_size` 是需要采集的数据个数。`random.sample(dataset, sample_size)` 返回一个列表，其中包含了随机选择的 `sample_size` 个元素。需要注意的是，如果数据集中的元素数量不足 `sample_size` 个，则会抛出 `ValueError` 异常。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值