我们都希望对于所有在Oracle数据库中执行的SQL,CBO都能产生出正确的执行计划,但实际情况却并非如此,由于各种各样的原因(比如目标SQL所涉及的对象的统计信息的不准确,或者CBO内部一些成本计算公式的先天缺陷等),导致有时CBO产生效率不高、甚至是错误的执行计划。特别是CBO对目标SQL所产生的初始执行计划是正确的,后来由于某种原因(比如统计信息的变更等)而导致CBO重新对其产生了错误的执行计划,这种执行计划的改变往往会导致目标SQL执行时间呈数量级的递增,而且常常会让我们很困惑:这个SQL原先跑得好好的,为什么突然就慢得让人无法接受?其实这种SQL执行效率突然衰减往往是因为目标SQL执行计划的改变。
我们当然希望这样的改变永远不要发生,即在Oracle数据库中跑的所有SQL都能有正确的、稳定的执行计划,但实际上在Oracle 11g的SPM(SQL Plan Management)出现之前,这一点是很难做到的。那么现在退而求其次,如果已经出现了执行坟墓的变更,即CBO已经产生了错误的执行计划,我们应该怎么纠正呢?
我种情况下,我们通常会重新收集一下统计信息或者修改目标SQL(比如在目标SQL中加入Hint等)以纠正错误的执行计划。但有时候重新收集统计信息并不能解决问题,更糟糕的是,很多情况下是没有办法修改目标SQL的SQL文本的(比如第三方开发的系统,修改不了源码,或者目标SQL是前台框架动态生成的等等),那么这种情况下我们该怎么办呢?
在Oracle 10g/11g及其以后的版本中,我们可以使用SQL Profile或SPM(SQL Plan Management)来解决上述执行计划变更的问题,用它们来调整、稳定目标SQL的执行计划。
本文介绍使用SQL Profile来稳定执行计划:
Oracle 10g中的SQL Profile(直译为“SQL概要”)可以说是Oracle 9i中的Stored Outline(直译为“存储概要”)的进化。Stored Outline能够实现的功能SQL Profile也完全能够实现。
与Stored Outline相比,SQL Profile具备如下优点:
-
更容易生成、更改和控制
-
在SQL语句的支持上做得更好,也就是说适用范围更广。
使用SQL Profile可以很容易实现如下两个目的:
-
锁定或者说稳定执行计划
-
在不能修改目标SQL的SQL文本的情况下使目标SQL语句按指定的执行计划运行。
SQL Profile有两种类型:一种是Automatic类型,另一种是Manual类型。下面分别介绍这两种类型:
1. Automatic类型的SQL Profile
Automatic类型的SQL Profile其实就是针对目标SQL的一些额外的调整信息,这些信息存储在数据字典里。当有了Automatic类型的SQL Profile后,Oracle在产生执行计划时就会根据它对目标SQL所涉及的统计信息等内容做相应的调整,因而能够在一定程度上避免产生错误的执行计划。你不用担心Automatic类型的SQL Profile的准确性,因为Oracle会使用类型于动态采用技术那样的手段来保证这些额外调整信息相对准确。
Automatic类型的SQL Profile不会像Stored Outline那样锁定目标SQL的执行计划,因为Automatic类型的SQL Profile的本质就是针对目标SQL的一些额外的调整信息,这些额外的调整信息需要与原目标SQL的相关统计信息等内容一起作用才能得到新的执行计划,即原始SQL的统计信息等内容一旦发生变化,即使原有Automatic类型的SQL Profile并没有改变,该SQL的执行也可能会发生变化。从这个意义上讲,Automatic类型的SQL Profile并不能完全起到稳定目标SQL的执行计划的作用,虽然它确实可以用来调整执行计划。
看一个在不更改目标SQL的SQL文本的情况下使用Automatic类型的SQL Profile来调整执行计划的实例:
创建测试表及相关操作:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
|
zx@MYDB>
create
table
t1 (n number);
Table
created.
zx@MYDB>
declare
2
begin
3
for
i
in
1..10000 loop
4
insert
into
t1
values
(i);
5
end
loop;
6
commit
;
7
end
;
8 /
PL/SQL
procedure
successfully completed.
zx@MYDB>
select
count
(*)
from
t1;
COUNT
(*)
----------
10000
zx@MYDB>
create
index
idx_t1
on
t1(n);
Index
created.
zx@MYDB>
exec
dbms_stats.gather_table_stats(ownname=>
USER
,tabname=>
'T1'
,method_opt=>
'for all columns size 1'
,
cascade
=>
true
);
PL/SQL
procedure
successfully completed.
zx@MYDB>
select
/*+no_index(t1 idx_t1) */ *
from
t1
where
n=1;
N
----------
1
|
从上述显示内容可以看出,目标SQL走的是对表T1的全表扫描(Table Access Full),这个执行计划显然是错误,这里正确的执行坟墓应该是走索引IDX_T1的索引范围扫描(Index Range Scan)。下面使用SQL Tuning Advisor对这条SQL生成Automatic类型的SQL Profile。
a.先创建一个名为my_sql_tuning_task_2的自动调整任务:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
zx@MYDB>
declare
2 my_task_name varchar2(30);
3 my_sqltext clob;
4
begin
5 my_sqltext:=
'select /*+no_index(t1 idx_t1) */ * from t1 where n=1'
;
6 my_task_name:=dbms_sqltune.create_tuning_task(
7 sql_text=>my_sqltext,
8 user_name=>
USER
,
9 scope=>
'COMPREHENSIVE'
,
10 time_limit=>60,
11 task_name=>
'my_sql_tuning_task_1'
,
12 description=>
'Task to tune a query on table t1'
);
13
end
;
14 /
PL/SQL
procedure
successfully completed.
zx@MYDB>
select
task_name,status,execution_start,execution_end
from
user_advisor_log;
TASK_NAME STATUS EXECUTION_START EXECUTION_END
------------------------------ --------------------------------- ------------------- -------------------
my_sql_tuning_task_1 INITIAL
|
注:创建任务时可以使用SQL来创建,可以适用于SQL文本长的情况。详情参考官方文档。
b.执行上述自动调整任务
1
2
3
4
5
6
7
8
9
10
11
12
|
zx@MYDB>
begin
2 dbms_sqltune.execute_tuning_task(task_name=>
'my_sql_tuning_task_1'
);
3
end
;
4 /
zx@MYDB>zx@MYDB>
select
task_name,status,execution_start,execution_end
from
user_advisor_log;
TASK_NAME STATUS EXECUTION_START EXECUTION_END
------------------------------ --------------------------------- ------------------- -------------------
my_sql_tuning_task_1 COMPLETED 2017-02-28 10:59:43 2017-02-28 10:59:44
PL/SQL
procedure
successfully completed.
|
c.查看上述自动任务的调整结果
1
2
3
4
|
zx@MYDB>
set
long 9000
zx@MYDB>
set
longchunksize 1000
zx@MYDB>
set
linesize 800
zx@MYDB>
select
dbms_sqltune.report_tuning_task(
'my_sql_tuning_task_1'
)
from
dual;
|
从上述调整结果可以看到,Oracle现在告诉我们:它已经为目标SQL找到了更好的执行计划,并且已经创建了针对该SQL的Automatic类型的SQL Profile。如果我们使用accecp_sql_profile接受了这个SQL Profile,则目标SQL的响应时间将会有86.24%的提升,逻辑读将会有95%的提升,并且接受了该SQL Profile后目标SQL的执行计划将会由原来的全表扫描变为索引范围扫描。
上面Automatic类型的SQL Profile所产生的调整结果就是我们想要的,所以现在只需按Oracle的提示接受这个SQL Profile即可:
1
2
3
|
zx@MYDB>
execute
dbms_sqltune.accept_sql_profile(task_name =>
'my_sql_tuning_task_1'
, task_owner =>
'ZX'
,
replace
=>
TRUE
,force_match=>
true
);
PL/SQL
procedure
successfully completed.
|
接受此SQL Profile后我们来看一下效果,再次执行目标SQL:
1
2
3
4
5
|
zx@MYDB>
select
/*+no_index(t1 idx_t1) */ *
from
t1
where
n=1;
N
----------
1
|
注意到Note部分有这样的内容“SQL profile SYS_SQLPROF_015a82b353490000 used for this statement”这说明我们刚才接受的SQL Profile已经起了作用,该SQL Profile的名字为SYS_SQLPROF_015a82b353490000。从执行计划中也可以看到,执行计划确实已经改变了。
另外,DBMS_SQLTUNE.ACCEPT_SQL_PROFILE的输入参数force_match的默认值为FALSE,表示只有在SQL文本完全匹配的情况下才会应用SQL Profile,这种情况下只要目标SQL的SQL文本发生一点变动,原有的SQL Profile将会失去作用,如果设置为TRUE,即使SQL有变动SQL Profile也会强制生效。
删除SQL Profile
1
2
3
|
zx@MYDB>
exec
dbms_sqltune.drop_sql_profile(
'SYS_SQLPROF_015a82b353490000'
);
PL/SQL
procedure
successfully completed.
|
2. Manual类型的SQL Profile
Manual类型的SQL Profile本质上就是一堆Hint的组合,这一堆Hint的组合实际上来源于执行计划中的Outline Data部分的Hint组合。Manual类型的SQL Profile同样可以在不更改目标SQL的SQL文本的情况下,调整其执行计划,而且更为重要的是,Manual类型的SQL Profile可以起到很好稳定目标SQL的执行计划的作用,这一点是Automatic类型的SQL Profile所不具备的。
看一个使用Manual类型的SQL Profile实例固定执行计划的实例,使用上面的t1表,删除上面的SQL Profile,再次执行SQL
1
2
3
4
5
|
zx@MYDB>
select
/*+no_index(t1 idx_t1) */ *
from
t1
where
n=1;
N
----------
1
|
从上述输出可以看出执行计划仍然走全表扫描。
现在来创建Manual类型的SQL Profile。这里使用了MOS上的一个脚本coe_xfr_sql_profile.sql。这个脚本用于从Shared Pool、AWR Repository中指定SQL的指定执行计划的Outline Data部分的Hint组合,来创建Manual类型的SQL Profile。
使用coe_xfr_sql_profile.sql脚本的步骤为
-
针对目标SQL使用coe_xfr_sql_profile.sql产生能生成其Manual类型的SQL Profile的脚本A。
-
改写目标SQL的文本,在其中使用合适的Hint,直到加入Hint后的SQL能走出我们想要的执行计划。然后对加入合适Hint后的SQL使用脚本coe_xfr_sql_profile.sql,产生能生成其Manual类型的SQL Profile的脚本B。
-
用脚本B中的Outline Data部分的Hint组合替换掉脚本A的Outline Data部分的Hint组合。
-
执行脚本A生成针对原目标SQL的Manual类型的SQL Profile。
现在改写上面的SQL,强制走索引:
1
2
3
4
5
|
zx@MYDB>
select
/*+
index
(t1 idx_t1) */ *
from
t1
where
n=1;
N
----------
1
|
从执行计划中可以看出SQL Id和对应的Plan hash value。
全表扫描的SQL Id:6chcc0pvvhqqm Plan hash value:3617692013
索引扫描的SQL Id:2ufquy7xs5nm5 Plan hash value:1369807930
a. 先使用coe_xfr_sql_profile.sql生成全表扫描SQL对应的脚本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
|
zx@MYDB>@scripts/coe_xfr_sql_profile.sql
Parameter 1:
SQL_ID (required)
Enter value
for
1: 6chcc0pvvhqqm
PLAN_HASH_VALUE AVG_ET_SECS
--------------- -----------
3617692013 .002
Parameter 2:
PLAN_HASH_VALUE (required)
Enter value
for
2: 3617692013
Values
passed
to
coe_xfr_sql_profile:
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
SQL_ID :
"6chcc0pvvhqqm"
PLAN_HASH_VALUE:
"3617692013"
SQL>
BEGIN
2 IF :sql_text
IS
NULL
THEN
3 RAISE_APPLICATION_ERROR(-20100,
'SQL_TEXT for SQL_ID &&sql_id. was not found in memory (gv$sqltext_with_newlines) or AWR (dba_hist_sqltext).'
);
4
END
IF;
5
END
;
6 /
SQL>
SET
TERM
OFF
;
SQL>
BEGIN
2 IF :other_xml
IS
NULL
THEN
3 RAISE_APPLICATION_ERROR(-20101,
'PLAN for SQL_ID &&sql_id. and PHV &&plan_hash_value. was not found in memory (gv$sql_plan) or AWR (dba_hist_sql_plan).'
);
4
END
IF;
5
END
;
6 /
SQL>
SET
TERM
OFF
;
Execute
coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql
on
TARGET system
in
order
to
create
a custom SQL Profile
with
plan 3617692013 linked
to
adjusted sql_text.
COE_XFR_SQL_PROFILE completed.
|
从输出可以看出,生成一个名为coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql的脚本。
b. 用coe_xfr_sql_profile.sql生成索引扫描SQL对应的脚本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
|
SQL>@scripts/coe_xfr_sql_profile.sql
Parameter 1:
SQL_ID (required)
Enter value
for
1: 2ufquy7xs5nm5
PLAN_HASH_VALUE AVG_ET_SECS
--------------- -----------
1369807930 .001
Parameter 2:
PLAN_HASH_VALUE (required)
Enter value
for
2: 1369807930
Values
passed
to
coe_xfr_sql_profile:
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
SQL_ID :
"2ufquy7xs5nm5"
PLAN_HASH_VALUE:
"1369807930"
SQL>
BEGIN
2 IF :sql_text
IS
NULL
THEN
3 RAISE_APPLICATION_ERROR(-20100,
'SQL_TEXT for SQL_ID &&sql_id. was not found in memory (gv$sqltext_with_newlines) or AWR (dba_hist_sqltext).'
);
4
END
IF;
5
END
;
6 /
SQL>
SET
TERM
OFF
;
SQL>
BEGIN
2 IF :other_xml
IS
NULL
THEN
3 RAISE_APPLICATION_ERROR(-20101,
'PLAN for SQL_ID &&sql_id. and PHV &&plan_hash_value. was not found in memory (gv$sql_plan) or AWR (dba_hist_sql_plan).'
);
4
END
IF;
5
END
;
6 /
SQL>
SET
TERM
OFF
;
Execute
coe_xfr_sql_profile_2ufquy7xs5nm5_1369807930.sql
on
TARGET system
in
order
to
create
a custom SQL Profile
with
plan 1369807930 linked
to
adjusted sql_text.
COE_XFR_SQL_PROFILE completed.
|
从输出可以看出,生成一个名为coe_xfr_sql_profile_2ufquy7xs5nm5_1369807930.sql的脚本。
c. 把后生成的脚本里的Outline Data部分的Hint组合替换到先生成的脚本里,即下图红框部分内容
d. 执行coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql脚本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
|
zx@MYDB>@coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql
zx@MYDB>REM
zx@MYDB>REM $Header: 215187.1 coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql 11.4.4.4 2017/02/28 carlos.sierra $
zx@MYDB>REM
zx@MYDB>REM Copyright (c) 2000-2012, Oracle Corporation.
All
rights reserved.
zx@MYDB>REM
zx@MYDB>REM AUTHOR
zx@MYDB>REM carlos.sierra@oracle.com
zx@MYDB>REM
zx@MYDB>REM SCRIPT
zx@MYDB>REM coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql
zx@MYDB>REM
zx@MYDB>REM DESCRIPTION
zx@MYDB>REM This script
is
generated
by
coe_xfr_sql_profile.sql
zx@MYDB>REM It
contains
the SQL*Plus commands
to
create
a custom
zx@MYDB>REM SQL Profile
for
SQL_ID 6chcc0pvvhqqm based
on
plan hash
zx@MYDB>REM value 3617692013.
zx@MYDB>REM The custom SQL Profile
to
be created
by
this script
zx@MYDB>REM will affect plans
for
SQL commands
with
signature
zx@MYDB>REM matching the one
for
SQL Text below.
zx@MYDB>REM Review SQL Text
and
adjust accordingly.
zx@MYDB>REM
zx@MYDB>REM PARAMETERS
zx@MYDB>REM None.
zx@MYDB>REM
zx@MYDB>REM EXAMPLE
zx@MYDB>REM SQL> START coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql;
zx@MYDB>REM
zx@MYDB>REM NOTES
zx@MYDB>REM 1. Should be run
as
SYSTEM
or
SYSDBA.
zx@MYDB>REM 2.
User
must have
CREATE
ANY
SQL PROFILE privilege.
zx@MYDB>REM 3. SOURCE
and
TARGET systems can be the same
or
similar.
zx@MYDB>REM 4.
To
drop
this custom SQL Profile
after
it has been created:
zx@MYDB>REM
EXEC
DBMS_SQLTUNE.DROP_SQL_PROFILE(
'coe_6chcc0pvvhqqm_3617692013'
);
zx@MYDB>REM 5. Be aware that using DBMS_SQLTUNE requires a license
zx@MYDB>REM
for
the Oracle Tuning Pack.
zx@MYDB>REM 6. If you modified a SQL putting Hints
in
order
to
produce a desired
zx@MYDB>REM Plan, you can remove the artifical Hints
from
SQL Text pieces below.
zx@MYDB>REM
By
doing so you can
create
a custom SQL Profile
for
the original
zx@MYDB>REM SQL but
with
the Plan captured
from
the modified SQL (
with
Hints).
zx@MYDB>REM
zx@MYDB>WHENEVER SQLERROR EXIT SQL.SQLCODE;
zx@MYDB>REM
zx@MYDB>VAR signature NUMBER;
zx@MYDB>VAR signaturef NUMBER;
zx@MYDB>REM
zx@MYDB>
DECLARE
2 sql_txt CLOB;
3 h SYS.SQLPROF_ATTR;
4
PROCEDURE
wa (p_line
IN
VARCHAR2)
IS
5
BEGIN
6 DBMS_LOB.WRITEAPPEND(sql_txt, LENGTH(p_line), p_line);
7
END
wa;
8
BEGIN
9 DBMS_LOB.CREATETEMPORARY(sql_txt,
TRUE
);
10 DBMS_LOB.
OPEN
(sql_txt, DBMS_LOB.LOB_READWRITE);
11
-- SQL Text pieces below do not have to be of same length.
12
-- So if you edit SQL Text (i.e. removing temporary Hints),
13
-- there is no need to edit or re-align unmodified pieces.
14 wa(q
'[select /*+no_index(t1 idx_t1) */ * from t1 where n=1 ]'
);
15 DBMS_LOB.
CLOSE
(sql_txt);
16 h := SYS.SQLPROF_ATTR(
17 q
'[BEGIN_OUTLINE_DATA]'
,
18 q
'[IGNORE_OPTIM_EMBEDDED_HINTS]'
,
19 q
'[OPTIMIZER_FEATURES_ENABLE('
11.2.0.1
')]'
,
20 q
'[DB_VERSION('
11.2.0.1
')]'
,
21 q
'[ALL_ROWS]'
,
22 q
'[OUTLINE_LEAF(@"SEL$1")]'
,
23 q
'[INDEX(@"SEL$1" "T1"@"SEL$1" ("T1"."N"))]'
,
24 q
'[END_OUTLINE_DATA]'
);
25 :signature := DBMS_SQLTUNE.SQLTEXT_TO_SIGNATURE(sql_txt);
26 :signaturef := DBMS_SQLTUNE.SQLTEXT_TO_SIGNATURE(sql_txt,
TRUE
);
27 DBMS_SQLTUNE.IMPORT_SQL_PROFILE (
28 sql_text => sql_txt,
29 profile => h,
30
name
=>
'coe_6chcc0pvvhqqm_3617692013'
,
31 description =>
'coe 6chcc0pvvhqqm 3617692013 '
||:signature||
' '
||:signaturef||
''
,
32 category =>
'DEFAULT'
,
33 validate =>
TRUE
,
34
replace
=>
TRUE
,
35 force_match =>
FALSE
/*
TRUE
:
FORCE
(match even
when
different literals
in
SQL).
FALSE
:EXACT (similar
to
CURSOR_SHARING) */ );
36 DBMS_LOB.FREETEMPORARY(sql_txt);
37
END
;
38 /
PL/SQL
procedure
successfully completed.
zx@MYDB>WHENEVER SQLERROR
CONTINUE
zx@MYDB>
SET
ECHO
OFF
;
SIGNATURE
---------------------
3589138201450662673
SIGNATUREF
---------------------
8068435081012723673
... manual custom SQL Profile has been created
COE_XFR_SQL_PROFILE_6chcc0pvvhqqm_3617692013 completed
|
e. 执行完成后再次查看目标SQL的执行计划
1
2
3
4
5
|
zx@MYDB>
select
/*+no_index(t1 idx_t1) */ *
from
t1
where
n=1;
N
----------
1
|
从执行计划中可以看出已经走了INDEX RANGE SCAN,而且note部分提示SQL profile coe_6chcc0pvvhqqm_3617692013 used for this statement,说明执行sql时使用了该SQL Profile。
如果想在目标SQL的SQL文本发生变动时SQL Profile依然生效,则需要修改生成的脚本里的force_match=>true。
参考:《基于Oracle的SQL优化》
官方文档:http://docs.oracle.com/cd/E11882_01/server.112/e41573/sql_tune.htm#PFGRF94854
http://docs.oracle.com/cd/E11882_01/appdev.112/e40758/d_sqltun.htm#CHDGAJCI
本文转自hbxztc 51CTO博客,原文链接:http://blog.51cto.com/hbxztc/1901964,如需转载请自行联系原作者