当MogDB遇到标量子查询中有limit或rownum怎么办

于 2024-04-06 20:34:52 发布
阅读量302 收藏 4
点赞数 5
文章标签： 程序人生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovewifelovelife/article/details/137437514
版权

在过去的一些项目中，我们发现对于标量子查询带limit或者rownum的情况下，Oracle的性能非常高效，而MogDB的性能似乎差强人意，那么如果在使用MogDB的过程中遇到了这样的场景，该如何进行优化呢？

这里我们来给大家分享一些优化方法。

首先来看看Oracle的情况

这里我们先模拟构造一些数据，用来测试验证.


create table test02 as select * from dba_objects;
create table test01 as select * from test02;
insert into test01 select * from test01;
insert into test01 select * from test01;
insert into test01 select * from test01;
commit;
insert into test01 select * from test01;
insert into test01 select * from test01;
insert into test01 select * from test01;
commit;
insert into test01 select * from test01;
insert into test01 select * from test01;
insert into test01 select * from test01;
commit;
create index idx_test01_owner on test01(owner);


数据构造完毕之后，我们来看看Oracle 11g中该测试SQL的执行计划如何。

SQL> select count(1) from test01;

  COUNT(1)
----------
  22858240

Elapsed: 00:00:03.75
SQL> select count(1) from test02;

  COUNT(1)
----------
     89290

Elapsed: 00:00:00.07
SQL> 
SQL> SELECT object_id, t1.owner,
  2    (SELECT t2.object_name
  3     FROM test01 t2
  4     WHERE t1.owner = t2.owner
  5       AND rownum <= 1)
  6  FROM test02 t1
  7  WHERE rownum <= 10;

 OBJECT_ID OWNER                          (SELECTT2.OBJECT_NAMEFROMTEST01T2WHERET1.OWNER=T2.OWNERANDRO
---------- ------------------------------ ------------------------------------------------------------
        20 SYS                            ICOL$
        46 SYS                            ICOL$
        28 SYS                            ICOL$
        15 SYS                            ICOL$
        29 SYS                            ICOL$
         3 SYS                            ICOL$
        25 SYS                            ICOL$
        41 SYS                            ICOL$
        54 SYS                            ICOL$
        40 SYS                            ICOL$

10 rows selected.

Elapsed: 00:00:00.01

Execution Plan
----------------------------------------------------------
Plan hash value: 1781923309

-------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name             | Rows  | Bytes | Cost (%CPU)| Time     |
-------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT             |                  |    10 |   300 |     2   (0)| 00:00:01 |
|*  1 |  COUNT STOPKEY               |                  |       |       |            |          |
|   2 |   TABLE ACCESS BY INDEX ROWID| TEST01           |   250K|    19M|     4   (0)| 00:00:01 |
|*  3 |    INDEX RANGE SCAN          | IDX_TEST01_OWNER |   100K|       |     3   (0)| 00:00:01 |
|*  4 |  COUNT STOPKEY               |                  |       |       |            |          |
|   5 |   TABLE ACCESS FULL          | TEST02           | 81940 |  2400K|     2   (0)| 00:00:01 |
-------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   1 - filter(ROWNUM<=1)
   3 - access("T2"."OWNER"=:B1)
   4 - filter(ROWNUM<=10)

Note
-----
   - dynamic sampling used for this statement (level=2)


Statistics
----------------------------------------------------------
          0  recursive calls
          0  db block gets
          9  consistent gets
         12  physical reads
          0  redo size
        862  bytes sent via SQL*Net to client
        523  bytes received via SQL*Net from client
          2  SQL*Net roundtrips to/from client
          0  sorts (memory)
          0  sorts (disk)
         10  rows processed

SQL> 

可以看到，在Oracle 中该SQL执行效率非常高效，毫秒级返回结果。然后在早期的MogDB版本中，处理该SQL性能并不高高效，会走bitmap index scan。

首先我们通过mtk迁移工具将该2个表测试数据迁移到mogdb中，然后测试验证一把。

至于迁移步骤，这里我就不在提了，大家可以参考之前的文章。

MogDB 验证

这里我使用了MogDB 5.0.5版本。废话不多说，直接上测试过程。

[omm@mogdb1 ~]$ gsql -r -d test -Uroger
Password for user roger: 
gsql ((MogDB 5.0.5 build b77f1a82) compiled at 2023-12-08 03:11:47 commit 0 last mr 1804 )
Non-SSL connection (SSL connection is recommended when requiring high-security)
Type "help" for help.

test=> \timing on
Timing is on.
test=> 
test=>    SELECT object_id, t1.owner,
test->   (SELECT t2.object_name
test(>    FROM test01 t2
test(>    WHERE t1.owner = t2.owner
test(>      AND rownum <= 1)
test-> FROM test02 t1
test-> WHERE rownum <= 10;
 object_id | owner | object_name 
-----------+-------+-------------
        20 | SYS   | ICOL$
        46 | SYS   | ICOL$
        28 | SYS   | ICOL$
        15 | SYS   | ICOL$
        29 | SYS   | ICOL$
         3 | SYS   | ICOL$
        25 | SYS   | ICOL$
        41 | SYS   | ICOL$
        54 | SYS   | ICOL$
        40 | SYS   | ICOL$
(10 rows)

Time: 18472.299 ms
test=> 
test=>  explain 
test-> SELECT object_id, t1.owner,
test->   (SELECT t2.object_name
test(>    FROM test01 t2
test(>    WHERE t1.owner = t2.owner
test(>      AND rownum <= 1)
test-> FROM test02 t1
test-> WHERE rownum <= 10;
                                                 QUERY PLAN                                                 
------------------------------------------------------------------------------------------------------------
 Limit  (cost=0.00..179830.95 rows=10 width=11)
   ->  Seq Scan on test02 t1  (cost=0.00..1605908407.74 rows=89301 width=11)
         SubPlan 1
           ->  Limit  (cost=17982.47..17983.07 rows=1 width=24)
                 ->  Bitmap Heap Scan on test01 t2  (cost=17982.47..591299.40 rows=952544 width=24)
                       Recheck Cond: ((t1.owner)::text = (owner)::text)
                       ->  Bitmap Index Scan on idx_test01_owner  (cost=0.00..17744.33 rows=952544 width=0)
                             Index Cond: ((t1.owner)::text = (owner)::text)
(8 rows)

Time: 1.544 ms
test=> 
test=> select t2.object_name from test01 t2 where 'SYS' = t2.owner and rownum <= 1;
 object_name 
-------------
 ICOL$
(1 row)

Time: 1.496 ms
test=> explain select t2.object_name from test01 t2 where 'SYS' = t2.owner and rownum <= 1;
                                QUERY PLAN                                 
---------------------------------------------------------------------------
 Limit  (cost=0.00..0.07 rows=1 width=24)
   ->  Seq Scan on test01 t2  (cost=0.00..687643.20 rows=9726617 width=24)
         Filter: ('SYS'::text = (owner)::text)
(3 rows)

Time: 1.292 ms
test=> 


从第一次执行的情况来看，该SQL需要10多秒，简直是比Oracle慢太多了，无法仍受。实际上我们分析上述的执行计划可以看到，主要慢在了bitmap scan上了。

这里我们暂时用hint禁用该功能。

test=> SELECT /*+ set(enable_bitmapscan off) */ object_id, t1.owner,
test->   (SELECT t2.object_name
test(>    FROM test01 t2
test(>    WHERE t1.owner = t2.owner
test(>      AND rownum <= 1)
test-> FROM test02 t1
test-> WHERE rownum <= 10;
 object_id | owner | object_name 
-----------+-------+-------------
        20 | SYS   | ICOL$
        46 | SYS   | ICOL$
        28 | SYS   | ICOL$
        15 | SYS   | ICOL$
        29 | SYS   | ICOL$
         3 | SYS   | ICOL$
        25 | SYS   | ICOL$
        41 | SYS   | ICOL$
        54 | SYS   | ICOL$
        40 | SYS   | ICOL$
(10 rows)

Time: 3.367 ms
test=> explain SELECT /*+ set(enable_bitmapscan off) */ object_id, t1.owner,
test->   (SELECT t2.object_name
test(>    FROM test01 t2
test(>    WHERE t1.owner = t2.owner
test(>      AND rownum <= 1)
test-> FROM test02 t1
test-> WHERE rownum <= 10;
                                       QUERY PLAN                                       
----------------------------------------------------------------------------------------
 Limit  (cost=0.00..7.49 rows=10 width=11)
   ->  Seq Scan on test02 t1  (cost=0.00..66929.56 rows=89301 width=11)
         SubPlan 1
           ->  Limit  (cost=0.00..0.72 rows=1 width=24)
                 ->  Seq Scan on test01 t2  (cost=0.00..687643.20 rows=952544 width=24)
                       Filter: ((t1.owner)::text = (owner)::text)
(6 rows)

Time: 1.467 ms
test=> 

我们可以看到此时执行计划正常了，快如闪电了。

在6月30号即将发布的新版本中SQL引擎就具备该能力，不再需要人工干预了。

本文由 mdnice 多平台发布

Roger的数据库恢复专栏
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql 查询rownum_mysql中实现rownum功能
weixin_30980893的博客
01-18 3112
MySQL 几乎模拟了 Oracle,SQL Server等商业数据库的大部分功能，函数。但很可惜，到目前的版本(5.1.33)为止,仍没有实现ROWNUM这个功能。下面介绍几种具体的实现方法.建立实验环境如下mysql> create table tbl (-> id int primary key,-> col int-> );Query OK, ...
Oracle查询语句中rownum与rowid的不同之处分析
09-10
主要介绍了Oracle查询语句中rownum与rowid的不同之处分析,需要的朋友可以参考下
sql 中top、limit、rownum的基础用法
qq_41024101的博客
07-12 1390
TOP [1] SELECT TOP n FROM table TOP n: 指定从查询结果集中输出前 n 行，n是介于 0 - 4294967295 之间的整数(只可以在sql server数据库中使用) eg：SELECT TOP 5 FROM table1 查询结果：从table1中拿到前5条数据 LIMIT [1] SELECT *FROM table LIMIT n LIMIT n: 指定从查询结果集中输出前 n 行。(只可以在Mysql数据库中使用) e...
Oracle中rownum的用法，查询某个区间的数据
u013456370的专栏
08-13 2493
对于rownum来说它是oracle系统顺序分配为从查询返回的行的编号，返回的第一行分配的是1，第二行是2，依此类推，这个伪字段可以用于限制查询返回的总行数，且rownum不能以任何表的名称作为前缀。 (1) rownum 对于等于某值的查询条件 如果希望找到学生表中第一条学生的信息，可以使用rownum=1作为条件。但是想找到学生表中第二条学生的信息，使用rownum=2结果查不到数据。因为r...
mysql中的limit和oracle中的rownum分页
qq_36833673的博客
07-19 1853
在平常的开发工作中，我们经常经常需要用到分页。那么，在mysql和oracle中，分页函数分别是什么呢？有什么区别呢？ 1：mysql： 在mysql中，我们使用的分页函数为limit，limit 0,5，limit后面的两个参数是可变的。第一个参数表示数据起始位置，第二个参数表示取几条数据。 1）如：limit 0,5，查询结果如下： 2）如limit 1,6，表示从第二条数据开始取，取的长度为6，因为数据的下标识从0开始算的。查询结果如下： 3）根据时间排序后，取某几条数据...
Limit与Rownum的使用
gltncx11的博客
11-28 4426
这东西在分页的时候十分有用. SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset 在我们使用查询语句的时候，经常要返回前几条或者中间某几行数据，这个时候怎么办呢？不用担心，mysql已经为我们提供了上面这样一个功能。 LIMIT 子句可以被用于强制 SELECT 语句返回指定的记录数。 LIMIT 接受一个或两个数字参数。参数...
Oracle中使用伪列rownum实现分页查询
12-14
伪列rownum rownum是查询返回的结果集中行的...从emp表中查询薪水排在前三位的记录 select * from( select * from emp order by sal desc ) where rownum<=3 结果如下： 原创文章 4获赞 4访问量 62 关注 私信
oracle中利用关键字rownum查询前20名员工信息及rownum用法
09-09
主要介绍了oracle中利用关键字rownum查询前20名员工信息,本文通过代码给大家简单介绍了ORACLE 中ROWNUM用法，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
SQL SELECT TOP, LIMIT, ROWNUM 子句
12-16
SQL SELECT TOP, LIMIT, ROWNUM 子句 SQL SELECT TOP 子句 SELECT TOP 子句用于规定要返回的记录的数目。 SELECT TOP 子句对于拥有数千条记录的大型表来说，是非常有用的。 注意:并非所有的数据库系统都支持 ...
C# Mysql 查询 Rownum的解决方法
09-10
C# Mysql 查询 Rownum的解决方法，需要的朋友可以参考一下
程序人生——Java使用关于性能和效率的建议
Perley620的博客，专注后端领域
03-18 1729
程序人生——Java使用关于性能和效率的建议
node-v12.22.1-linux-x64.tar.xz
最新发布
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于微信小程序的校园综合服务小程序
04-29
大学生毕业设计、大学生课程设计作业
node-v7.8.0-linux-armv7l.tar.gz
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
毕业设计：Python招聘分析系统论文（源码 + 数据库 + 说明文档）
04-29
毕业设计：Python招聘分析系统论文（源码 + 数据库 + 说明文档） 2 需求分析 9 2.1功能需求分析 9 2.2 可行性分析 9 2.2.1 技术可行性 9 2.2.2 经济可行性 9 2.2.3 操作可行性 10 2.2.4 发展可行性 10 2.3系统性需求分析 10 2.4招聘分析系统管理功能 11 3 总体设计 12 3.1 系统结构 12 3.2 数据库设计 12 3.2.1 数据库实体 12 3.2.2 数据库表设计 13 4 运行设计 15 4.1 招聘热门行业分析 15 4.2热门岗位分析界面 15 4.3招聘岗位学历分析界面 16 4.4岗位分布分析界面 16 5 系统测试 18 5.1测试环境与条件 18 5.2功能测试 18 5.3安全测试 18 5.4可用性测试 18 5.5测试结果分析 19
win11修复-网络正常-永远是地球小图标的bug
04-29
win11修复-网络正常-永远是地球小图标的bug
node-v7.8.0-linux-armv6l.tar.gz
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
源代码-360通用ASP防护代码(防sql注入).zip
04-29
源代码-360通用ASP防护代码(防sql注入).zip
node-v10.14.1-win-x86.zip
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
postgrel中有什么函数类似于oracle中的ROWNUM
08-07
PostgreSQL 中没有类似于 Oracle 中的 ROWNUM 的函数，但可以通过使用 limit 和 offset 实现类似的需求。例如： ``` select * from table_name limit 10 offset 20; ``` 这将从第 21 行开始返回最多 10 行数据。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值