CBO学习----03--选择率（Selectivity）

第3章 单表选择率（Single Table Selectivity）

Selectivity是优化器估算Rows（Cards）的重要依据。
/**************************************************************************************************************************************/

3.1 Getting Started

select count(*)
from audience
where month_no = 12
;

从优化器的角度，分析1200名听众中，估算12月出生的人数
(1)user_tab_col_statistics.num_distinct=12
(2)user_tab_histograms指出low(1)，high(12)，均匀分布
(3)user_tab_col_statistics.density=1/12
(4)month_no=12，单列，均一，所以user_tab_col_statistics.density可用
(5)low(1)<=12<=high(12)
(6)user_tab_col_statistics.num_nulls=0，没有空值
(7)user_tables.num_rows=1200
(8)1200/12=100

本章代码附件中：
birth_month_01.sql
hack_stats.sql

birth_month_01.sql构建表，先进行两次查询系统表，后做count(*)查询两次。
两次之间可在其他session执行hack_stats.sql，修改表的统计信息，看哪些统计项能影响rows的计算
(1)将表名和列名填入hack_stats.sql，并修改表的行数numrows

define m_source_table='AUDIENCE'
define m_source_column='month_no'
--m_avgrlen := m_avgrlen + 25;
m_numrows:=m_numrows+1200;

交叉执行后，rows从100变成200
测试后将numrows复原


(2)修改distcnt和density
打开Column statistics的注释

--m_distcnt:=m_distcnt+12;
m_density:=m_density/2;

经多次测试，distcnt的修改不起作用，说明仅有density参与计算（Oracle版本10204）。
并非像书中所提的那样，可能9i和10gR1中，没有直方图时是用distcnt来计算rows，Oracle之后的版本又改进了
测试后将density复原
/**************************************************************************************************************************************/

begin
	dbms_stats.gather_table_stats(
		user,
		'audience',
		cascade => true,
		estimate_percent => null,
		method_opt => 'for all columns size 1'
	);
end;
/

其中method_opt => 'for all columns size 1'，指不收集直方图，8i和9i的默认值
method_opt =>'for all columns size auto'10g默认值，可以通过下面方法读取

SQL> select dbms_stats.get_param('METHOD_OPT') from dual;


DBMS_STATS.GET_PARAM('METHOD_OPT')
---------------------------------------------------------
FOR ALL COLUMNS SIZE AUTO


已选择 1 行。

/**************************************************************************************************************************************/

3.2 Null Values

将null加入到rows的计算中
假定10%的人不记得自己的生日在几月

本章代码附件中：
birth_month_02.sql
该脚本中，将120行设置为空值，最终rows=90
说明优化器排除了null对估算rows的影响；density依然是1/12，并没有改变，说明density是减去空值数量后的结果。

/**************************************************************************************************************************************/

3.3 Using Lists

select count(*)
from audience
where month_no in (6,7,8)
;
开始研究month_no in (6,7,8)，这种条件时，rows的计算方式

本章代码附件中：
in_list.sql
在没有重复值时，rows计算无误


/**************************************************************************************************************************************/
8i中计算错误的原因：
select count(*) from audience where month_no in (6,7,8);
select /* +use_concat */count(*) from audience where month_no in (6,7,8);


/**************************************************************************************************************************************/
本章代码附件中：
in_list_02.sql
将月份从12扩大到1000，density为0.001
获得列表3-1，用来对比8i到10g的计算值，版本间影响不大


/**************************************************************************************************************************************/
本章代码附件中：
oddities.sql

在存有重复值、空值、过界值时，计算rows的状况，10204明显有所改善，考虑了最大最小值（书中原版本未考虑过界值的问题）

条件	8i	92/10102	10204
month_no = 25	100	100	1
month_no in (4, 4)	100	100	100
month_no in (3, 25)	192	200	100
month_no in (3, 25, 26)	276	300	101
month_no in (3, 25, 25, 26)	276	300	101
month_no in (3, 25, null)	276	300	200
month_no in (:b1, :b2, :b3)	276	300	300

仅仅在有空值时，不能正确计算rows，但也比之前版本误差小。


/**************************************************************************************************************************************/
10104的线性衰变
oracle在10.2之前采用过一个更为复杂的线性衰变算法，即超过最大值或低于最小值时，单值rows的斜率为 "1/最大值-最小值"。
通过上面10204的测试，这个算法在新版本中被取代。
本章代码附件中：
in_list_10g.sql
在10104中的结果：

条件	10102	10104
month_no = 13	100	91
month_no = 15	100	73
month_no in (13,15)	200	164
month_no in (16,18)	200	109

10104比10102略有改进，10204比10104改进就更加明显了，虽然还有缺陷（null上），但说明oracle的opt团队在不断的更新代码。

/**************************************************************************************************************************************/

3.4 Range

本章代码附件中：
ranges.sql
总结各个版本，统计如下：

号	谓词	8i	92/10102	10204	数学表达式	真实值
1	month_no > 8	437	436	436	(8,	400
2	month_no >= 8	537	536	536	[8,	500
3	month_no < 8	764	764	764	,8)	700
4	month_no <= 8	864	864	864	,8]	800
5	month_no between 6 and 9	528	527	527	[6,9]	400
6	month_no >= 6 and month_no <= 9	528	527	527	[6,9]	400
7	month_no >= 6 and month_no < 9	428	427	427	[6,9)	300
8	month_no > 6 and month_no <= 9	428	427	427	(6,9]	300
9	month_no > 6 and month_no < 9	328	327	327	(6,9)	200
10	month_no > :b1	60	60	101	(:b1,
11	month_no >= :b1	60	60	101	[:b1,
12	month_no < :b1	60	60	101	,:b1)
13	month_no <= :b1	60	60	101	,:b1]
14	month_no between :b1 and :b2	4	3	9	[:b1,:b2]
15	month_no >= :b1 and month_no <= :b2	4	3	9	[:b1,:b2]
16	month_no >= :b1 and month_no < :b2	4	3	9	[:b1,:b2)
17	month_no > :b1 and month_no < :b2	4	3	9	(:b1,:b2)
18	month_no > :b1 and month_no <= :b2	4	3	9	(:b1,:b2]
19	month_no > 12	100	100	100	(12,	0
20	month_no between 25 and 30	100	100	100	[25,30]	0

其中8i的4和9i的3，是没有区别的（10进制和二进制转换时有个小数），只是8i在计算式使用上浮，9i用的舍入

从上表发现的几条规律：
(1)"(" 和 "]"的差距为100
(2)超过边界值为100
(3)有绑定变量的rows，开闭区间并无影响
(4)10-13行，单个绑定变量的range，前期版本定为5%（1200*5%=60），10204之后较为复杂（有待研究）
(5)14-18行，5%*5%=2.5/1000，1200*5%*5%=3行
(6)19-20行，超出最大最小值范围时，给出一个固定的选择率。本章代码selectivity_one.sql给出了该环节9i的测试代码。
本章代码附件中：
selectivity_one.sql
构建一个4列的nologging表，3000行；对比4个边界上的定值查询和">"查询，rows是一样的。
说明超过边界值的查询所给出的选择率，跟等于边界值查询的选择率是一样的。

/**************************************************************************************************************************************/
CARDINALITY
基数的变化，对于执行计划的后续选择至关重要


/**************************************************************************************************************************************/
绑定变量和区间
因为colx like 'A%'可以等效为colx >='A' and colx <='B'；colx like :b1似乎也可以等效为between and的结构；但是他们两个的选择率是不同的，前者是5%后者是5%*5%。

本章代码附件中：
like_test.sql
构建一个10W行的表，绑定变量查询的rows为5000，正好是5%；其他定值查询都不同；但使用lower(col) like的方式，选择率也变为5%。
说明opt处理谓词表达式时，是按照变量来处理的，且为单个变量。

/**************************************************************************************************************************************/
Selectivity = “required range” / “total available range”
下面通过几个Case，来验证上面公式，并得出前面列表的结果。

Case 1
month_no > 8
(8,)
Selectivity = (high_value – limit) / (high_value – low_value) = (12 – 8) / (12 – 1) = 4/11
Cardinality = 1,200 * 4 / 11 = 436.363636

Case 2
month_no >= 8
[8,)
Selectivity = (high_value – limit) / (high_value – low_value) + 1/num_distinct = 4/11 + 1/12
Cardinality = 1,200 * (4/11 + 1/12) = 536.363636

Cases 3 and 4
Selectivity (3) = (limit – low_value) / (high_value – low_value) = (8 – 1) / (12 – 1) = 7/11
Selectivity (4) = (8 – 1) / (12 – 1) + 1/12 = 7/11 + 1/12

Cases 5 and 6
month_no between 6 and 9
Selectivity = (9 – 6) / (12 – 1) + 1/12 + 1/12             --( >= , <= )

Cases 7, 8, 9
Selectivity (7) = (9 – 6) / (12 – 1) + 1/12                    --( >= , < )
Selectivity (8) = (9 – 6) / (12 – 1) + 1/12                    --( > , <= )
Selectivity (9) = (9 – 6) / (12 – 1)                               --( > , <)

/**************************************************************************************************************************************/
BIND VARIABLE PEEKING（绑定变量窥视）
绑定变量可以共享游标，使OLTP减少了大量硬解析；但本章中也看出了它的一个弊端（引起rows的计算错误，统统5%）
因此，9i引入了绑定变量窥视


在绑定变量的SQL语句，第一次执行时，窥视一下变量的值，给出正确的rows，并选择最优路径，之后提炼出可与后面语句共享的部分，无论绑定变量是否变化，都会使用该共享。
在变量为字符串类型时，字符串长度变化较大时，执行计划会有所变化。
具体如何变化有待研究


/**************************************************************************************************************************************/
range上10104的更新


本章代码附件中：
ranges_10g.sql

条件	10102	10104	10204
month_no between 6 and 9	527	527	527
month_no between 14 and 17	100	82	100
month_no between 18 and 21	100	45	100
month_no between 24 and 27	100	1	100

正如前面提到的，在10104，超出边界值时，默认采用一个斜率为 "1/最大值-最小值" 的线性衰变
但在10204上又将默认改回去了
具体是哪个参数控制的，有待研究


/**************************************************************************************************************************************/

3.5 Two Predicates（双谓词）

where
month_no > 8
or month_no <= 8
此时计算的rows=986

本章代码附件中：
ranges_02.sql
类似上面的条件，列出了1-12的所有rows

	rows
1	1,108
2	1,110
3	1,040
4	989
5	959
6	948
7	957
8	986
9	1,035
10	1,103
11	1,192
12	1,200

优化器仅仅将条件判断为：两个由or连接起来的谓词

selectivity(predicate1 AND predicate2) = selectivity(predicate1) * selectivity(predicate2)                                                                       
selectivity(predicate1 OR  predicate2) = selectivity(predicate1) + selectivity(predicate2) - selectivity(predicate1 AND predicate2)
selectivity(NOT predicate1) = 1 – selectivity(predicate1)

本章代码附件中：
two_predicate_01.sql
解释了上面两个谓词时的运算

bind_between.sql
分析了绑定变量下，两个谓词时的选择率


/**************************************************************************************************************************************/

3.6 多个谓词的相关问题

计算一下下面的选择率
where
month_no > 8 -- (predicate 1)
or month_no <= 8 -- (predicate 2)

selectivity(predicate1)简称s(p1),以此类推

s(p1) = (12 – 8) / (12 – 1) = 4/11
s(p2) = (8 – 1) / (12 – 1) + 1/12 = 7/11 + 1/12
s(p1 and p2) = 4/11 * (7/11 + 1/12)
s(p1 or p2) = s(p1) + s(p2) - s(p1 and p2) = 4/11 + 7/11 + 1/12 - 4/11 * (7/11 + 1/12) =0.8216

1200*0.8216=986

/**************************************************************************************************************************************/
三个谓词时会如何呢？
month_no in (6,7,8)就类似于三个谓词被or连接
sel(A or B or C) = sel(A) + sel(B) + sel(C) – Sel(A)sel(B) – Sel(B)sel(C) – sel(C)sel(A) + Sel(A)Sel(B)Sel(C)

带入month_no in (6,7,8)会得出相应的rows=276

如果一个表中，不同列有依赖关系时，如何计算选择率呢？例如月份列+星座列
9i动态采样、10gfrofile （有待研究）