高效的partition（使用分区条件）

最新推荐文章于 2023-11-16 17:23:12 发布
最新推荐文章于 2023-11-16 17:23:12 发布
阅读量428 收藏
点赞数

高效的partition（使用分区条件）

 

Partition技术中：

高效的SQL应尽量使用分区条件

 

range分区表

create table range_tab(id int,col2 int,col3 int)

partition by range(id)

(

partition p1 values less than (1000),

partition p2 values less than (2000),

partition p3 values less than (3000),

partition p4 values less than (4000),

partition p5 values less than (5000),

partition p6 values less than (6000),

partition p7 values less than (7000),

partition p8 values less than (8000),

partition p9 values less than (9000),

partition p_max values less than (maxvalue)

);

插入数据

insert into range_tab select rownum,rownum+1,rownum+2 from dual connect by rownum<=10000;

 

没有索引的情况下

SQL> select * from range_tab where col2=800; <=未使用分区条件

 

        ID       COL2       COL3

---------- ---------- ----------

       799        800        801

 

 

Execution Plan

----------------------------------------------------------

Plan hash value: 2142701667

 

-------------------------------------------------------------------------------------------------

| Id  | Operation           | Name      | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |

-------------------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT    |           |     1 |    39 |    15   (0)| 00:00:01 |       |       |

|   1 |  PARTITION RANGE ALL|           |     1 |    39 |    15   (0)| 00:00:01 |     1 |    10 |

|*  2 |   TABLE ACCESS FULL | RANGE_TAB |     1 |    39 |    15   (0)| 00:00:01 |     1 |    10 |

-------------------------------------------------------------------------------------------------

 

Predicate Information (identified by operation id):

---------------------------------------------------

 

   2 - filter("COL2"=800)

 

Note

-----

   - dynamic sampling used for this statement (level=2)

 

 

Statistics

----------------------------------------------------------

          0  recursive calls

          0  db block gets

         71  consistent gets

          0  physical reads

          0  redo size

        540  bytes sent via SQL*Net to client

        415  bytes received via SQL*Net from client

          2  SQL*Net roundtrips to/from client

          0  sorts (memory)

          0  sorts (disk)

1         rows processed

 

SQL> select * from range_tab where col2=800  and  id=799; <=使用了分区条件

 

        ID       COL2       COL3

---------- ---------- ----------

       799        800        801

 

 

Execution Plan

----------------------------------------------------------

Plan hash value: 2649581176

 

----------------------------------------------------------------------------------------------------

| Id  | Operation              | Name      | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |

----------------------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT       |           |     1 |    39 |     3   (0)| 00:00:01 |       |       |

|   1 |  PARTITION RANGE SINGLE|           |     1 |    39 |     3   (0)| 00:00:01 |     1 |     1 |

|*  2 |   TABLE ACCESS FULL    | RANGE_TAB |     1 |    39 |     3   (0)| 00:00:01 |     1 |     1 |

----------------------------------------------------------------------------------------------------

 

Predicate Information (identified by operation id):

---------------------------------------------------

 

   2 - filter("COL2"=800 AND "ID"=799)

 

Note

-----

   - dynamic sampling used for this statement (level=2)

 

 

Statistics

----------------------------------------------------------

          0  recursive calls

          0  db block gets

          8  consistent gets

          0  physical reads

          0  redo size

        540  bytes sent via SQL*Net to client

        415  bytes received via SQL*Net from client

          2  SQL*Net roundtrips to/from client

          0  sorts (memory)

0         sorts (disk)

=>没有索引的情况下，正确的使用分区条件减少了访问数据的范围，从原来需要访问所有的分区，到正确使用分区条件后的一个分区

 

 

local索引

SQL> create index idx_col2_local on range_tab(col2) local;

 

Index created.

 

SQL> select * from range_tab where col2=800; <=未使用分区条件

 

        ID       COL2       COL3

---------- ---------- ----------

       799        800        801

 

 

Execution Plan

----------------------------------------------------------

Plan hash value: 3282018838

 

---------------------------------------------------------------------------------------------------------------------

| Id  | Operation                          | Name           | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |

---------------------------------------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT                   |                |     1 |    39 |    12   (0)| 00:00:01 |       |       |

|   1 |  PARTITION RANGE ALL               |                |     1 |    39 |    12   (0)| 00:00:01 |     1 |    10 |

|   2 |   TABLE ACCESS BY LOCAL INDEX ROWID| RANGE_TAB      |     1 |    39 |    12   (0)| 00:00:01 |     1 |    10 |

|*  3 |    INDEX RANGE SCAN                | IDX_COL2_LOCAL |     1 |       |    11   (0)| 00:00:01 |     1 |    10 |

---------------------------------------------------------------------------------------------------------------------

 

Predicate Information (identified by operation id):

---------------------------------------------------

 

   3 - access("COL2"=800)

 

Note

-----

   - dynamic sampling used for this statement (level=2)

 

 

Statistics

----------------------------------------------------------

          0  recursive calls

          0  db block gets

         22  consistent gets

          0  physical reads

          0  redo size

        540  bytes sent via SQL*Net to client

        415  bytes received via SQL*Net from client

          2  SQL*Net roundtrips to/from client

          0  sorts (memory)

          0  sorts (disk)

1           rows processed

 

SQL> select * from range_tab where col2=800 and id=799; <=使用了分区条件

 

        ID       COL2       COL3

---------- ---------- ----------

       799        800        801

 

 

Execution Plan

----------------------------------------------------------

Plan hash value: 1302426126

 

---------------------------------------------------------------------------------------------------------------------

| Id  | Operation                          | Name           | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |

---------------------------------------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT                   |                |     1 |    39 |     2   (0)| 00:00:01 |       |       |

|   1 |  PARTITION RANGE SINGLE            |                |     1 |    39 |     2   (0)| 00:00:01 |     1 |     1 |

|*  2 |   TABLE ACCESS BY LOCAL INDEX ROWID| RANGE_TAB      |     1 |    39 |     2   (0)| 00:00:01 |     1 |     1 |

|*  3 |    INDEX RANGE SCAN                | IDX_COL2_LOCAL |     1 |       |     1   (0)| 00:00:01 |     1 |     1 |

---------------------------------------------------------------------------------------------------------------------

 

Predicate Information (identified by operation id):

---------------------------------------------------

 

   2 - filter("ID"=799)

   3 - access("COL2"=800)

 

Note

-----

   - dynamic sampling used for this statement (level=2)

 

 

Statistics

----------------------------------------------------------

          0  recursive calls

          0  db block gets

          4  consistent gets

          0  physical reads

          0  redo size

        540  bytes sent via SQL*Net to client

        415  bytes received via SQL*Net from client

          2  SQL*Net roundtrips to/from client

          0  sorts (memory)

          0  sorts (disk)

          1  rows processed

=>local索引也是有多少个区就有多少个索引段，所以正确的使用了分区条件就将需要访问的索引块减少到了最低，索引使用分区条件也可以提升效率

 

Global索引

SQL> select * from range_tab where col2=800;

 

        ID       COL2       COL3

---------- ---------- ----------

       799        800        801

 

 

Execution Plan

----------------------------------------------------------

Plan hash value: 312410708

 

------------------------------------------------------------------------------------------------------------------------

| Id  | Operation                          | Name              | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |

------------------------------------------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT                   |                   |     1 |    39 |     2   (0)| 00:00:01 |       |       |

|   1 |  TABLE ACCESS BY GLOBAL INDEX ROWID| RANGE_TAB         |     1 |    39 |     2   (0)| 00:00:01 | ROWID | ROWID |

|*  2 |   INDEX RANGE SCAN                 | RANGE_COL2_GLOBAL |     1 |       |     1   (0)| 00:00:01 |       |       |

------------------------------------------------------------------------------------------------------------------------

 

Predicate Information (identified by operation id):

---------------------------------------------------

 

   2 - access("COL2"=800)

 

Note

-----

   - dynamic sampling used for this statement (level=2)

 

 

Statistics

----------------------------------------------------------

          0  recursive calls

          0  db block gets

          4  consistent gets

          0  physical reads

          0  redo size

        544  bytes sent via SQL*Net to client

        415  bytes received via SQL*Net from client

          2  SQL*Net roundtrips to/from client

          0  sorts (memory)

          0  sorts (disk)

1         rows processed

 

SQL> select * from range_tab where col2=800 and id=799;

 

        ID       COL2       COL3

---------- ---------- ----------

       799        800        801

 

 

Execution Plan

----------------------------------------------------------

Plan hash value: 227308907

 

------------------------------------------------------------------------------------------------------------------------

| Id  | Operation                          | Name              | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |

------------------------------------------------------------------------------------------------------------------------

|   0 | SELECT STATEMENT                   |                   |     1 |    39 |     2   (0)| 00:00:01 |       |       |

|*  1 |  TABLE ACCESS BY GLOBAL INDEX ROWID| RANGE_TAB         |     1 |    39 |     2   (0)| 00:00:01 |     1 |     1 |

|*  2 |   INDEX RANGE SCAN                 | RANGE_COL2_GLOBAL |     1 |       |     1   (0)| 00:00:01 |       |       |

------------------------------------------------------------------------------------------------------------------------

 

Predicate Information (identified by operation id):

---------------------------------------------------

 

   1 - filter("ID"=799)

   2 - access("COL2"=800)

 

Note

-----

   - dynamic sampling used for this statement (level=2)

 

 

Statistics

----------------------------------------------------------

          0  recursive calls

          0  db block gets

          4  consistent gets

          0  physical reads

          0  redo size

        540  bytes sent via SQL*Net to client

        415  bytes received via SQL*Net from client

          2  SQL*Net roundtrips to/from client

          0  sorts (memory)

0         sorts (disk)

1         rows processed

 

=> global索引是把分区表看成一个段进行建立索引的，索引分区条件对global索引影响不大，但是如果你使用分区条件，经过CBO的计算还是会优先分区条件使用权的

 

 

总结：

         使用partition技术时，高效的SQL请使用分区条件；

反问，如果不使用分区条件你为什么要使用partition技术呢？

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/26442936/viewspace-775371/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/26442936/viewspace-775371/

cqrw65623
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql 表分区 django_MySQL partition分区I
weixin_34504277的博客
01-19 449
Mysql5.1已经发行很久了，本文根据官方文档的翻译和自己的一些测试，对Mysql分区表的局限性做了一些总结，因为个人能力以及测试环境的原因，有可能有错误的地方，还请大家看到能及时指出，当然有兴趣的朋友可以去官方网站查阅。本文测试的版本mysql> select version();+------------+| version() |+------------+| 5.1.33-log...
Mysql数据表分区技术PARTITION浅析
09-10
主要介绍了Mysql数据表分区技术PARTITION浅析,分别介绍了 Mysql 中的分区技术 RANGE、LIST、 HASH,需要的朋友可以参考下
七、磁盘占用率100%的解决方案
m0_51321564的博客
12-18 6325
磁盘占用率100%的解决方案
多视角聚类学习（三）Partition level multiview subspace clustering
demons2的博客
11-13 1211
Partition level multiview subspace clusteringAbstractIntroduction Abstract 多视角子空间聚类主要集成数据点所在空间的多视图信息，它的性能可能受到每个单独视图中存在的噪声或异构特征之间不一致的影响。对于多视角聚类，基本前提是所有视图之间存在共享分区， 因此，多视图聚类的自然空间应该是所有分区。我们建议在分区级融合多视图信息，遵循两个直观的假设:(i)每个分区都是一致性聚类的扰动;(ii)对接近一致性聚类的分区赋较大的权值。 本文提出了一
7步走写摘要: Partition level multiview subspace clustering
dugking的博客
04-10 372
本篇论文发表于Neural Networks(2020)，CCF B类，中科院二区。 由于多视图聚类能够处理多个源（视图）数据并探索不同视图之间的补充信息，因此最近受到越来越多的关注。在各种方法中，多视图子空间聚类方法可提供令人鼓舞的性能。它们主要将多视图信息集成在数据点所在的空间中。因此，由于每个单独视图中存在的噪声或异构特征之间的不一致，它们的性能可能会降低。对于多视图群集，基本前提是所有...
全分区扫描 oracle,oracle 10g下范围分区扫描的几种方式
weixin_28955231的博客
04-14 207
--扫描单个分区 PARTITION RANGE SINGLE--连续扫描多个分区 PARTITION RANGE ITERATOR--不连续扫描多个分区 PARTITION RANGE INLIST--扫描全分区 PARTITION RANGE ALLSQL> drop table t_range purge;SQL> create table t_range (id numbe...
GParted (Gnome Partition Editor)：linux分区软件
02-08
GParted是一种非常小巧自启动运行光盘，采用 X.org，轻量级的 Fluxbox 窗口管理器，轻量级的 Fluxbox 窗口管理器，...其中包含的 GParted 硬盘分区工具，作为系统维护盘非常有用。 用于对linux进行分区，linux运维工具
MiniTool Partition磁盘分区工具
12-03
Partition 磁盘 分区 工具 支持多格式分区
磁盘分区PartitionManager
12-31
windows平台超好用的磁盘分区工具，可在系统运行时运行使用。
partition分区工具
08-05
一款用于分区的分区工具，方便好用，不用安装的小工具，占用存储空间小
row_number,根据多个字段过滤，partition by
10-22
过滤方法有distinct 获取是整行 重复 但只想过滤2个或2个以上不是所有字段 怎么办？ 根据多个字段过滤 比如表：teacher表 id ，name ,sex,idNumber，phone,date; 需求 根据name和idnumber和date过滤重复数据只取一条；
oracle分区表的分区执行计划的几种扫描类型
最新发布
viviliving的专栏
11-16 391
partition range inlist: 分区键中用了in 例如： where n1 in(X1,X2) and n2=X3。比range少了partition range or和partition range multi-column。partition range or: 分区键中用了or 例如 where n1=X1 or n2=X2。---1、partition list inlist 不连续分区扫描。---2、partition list inlist 不连续分区扫描。
分区字段对分区键字段转换是不会走partition range single
minwang593的专栏
10-28 3179
1  创建分区表             create table PP_SENDLIST (   FCCODE   VARCHAR2(4) not null,   PLCODE   VARCHAR2(10) not null,   MONUM    VARCHAR2(12) not null,   CPCODE   VARCHAR2(18) not null,   CPQTY  
分区扫描执行计划分析简介
塔山上的山
03-03 1092
分区扫描执行计划分析简介 转自：http://www.dbaxiaoyu.com/archives/1780   SQL> select * from v$version; BANNER -------------------------------------------------------------------------------- Oracle Database 1
sklearn.externals.joblib.my_exceptions.JoblibValueError: JoblibValueError解决办法
lighting
05-29 2485
  今天在跑代码的时候又遇到一个问题。parallel·并行程序出现错误。   具体错误如下: sklearn.externals.joblib.my_exceptions.JoblibValueError: JoblibValueError   既然是并行出错了，那我就查看有问题的代码行。代码如下： # 这个是要并行执行的函数 def accumulate_prediction(p...
PARTITION RANGE ALL 的优化
weixin_34192732的博客
11-20 2015
建议如下： 检查数据库的cpu 消耗 ，Sql_id :***** 消耗过多资源，这个新上线sql, 20号才上线，是对log 进行分析,平均每次执行时间300s.,使用的是PARTITION RANGE ALL 相当于全表扫描，该表的数据量达到千万级。 建议如下： log 这个表建议做定时数据清理， --------------------------------------...
SqlServer中 Partition By实现条件分组
weixin_43343835的博客
09-03 1182
使用Partition By实现按照条件筛选分组 SELECT CONVERT(DATETIME,CONVERT(NVARCHAR(10),Year)+'-'+CONVERT(NVARCHAR(10),Month)+'-1') tTime,* FROM ( SELECT ROW_NUMBER() OVER(PARTITION BY a ORDER BY a,Year,Month) Num,code,Year,Month FROM atable WHERE state=0 ) t WHERE Num=3
Hive表删除数据不支持使用Delete From...
木易巷的小博客
10-10 6649
org.apache.hadoop.hive.ql.parse.SemanticException:Attempt to do update or delete using transaction manager that does not support these operations.
partition by用法
08-03
通过使用Partition by子句，可以根据特定的分区条件来定义窗口，并在每个分区中执行窗口函数。 例如，可以使用Partition by子句计算某个销售团队的总销售额。通过指定团队ID作为分区依据，可以将销售数据分成不同的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值