oracle分页性能不同,咨询两种不同sql分页语句，在resultset遍历时的性能表现问题...

最新推荐文章于 2022-07-29 03:13:58 发布
最新推荐文章于 2022-07-29 03:13:58 发布
阅读量139 收藏
点赞数
文章标签： oracle分页性能不同

查看: 4285|回复: 9

[性能调整]

咨询两种不同sql分页语句，在resultset遍历时的性能表现问题

电梯直达

ec0fc3c1d023ecef49c01a89436c42dd.png

2833a783f88e01a4e7eafc82e0d30dcd.gif

发表于 2013-9-6 13:40

|

只看该作者

b9d72fa17df93caadebd08a07c8581b0.gif

|倒序浏览

|阅读模式

本帖最后由 janwen2013 于 2013-9-6 13:42 编辑

情况是这样的，我现在表里有2千万的数据，由于需求，需要进行分页查询，分页量在5000左右，现在有两条分页语句：1.

SELECT

*

FROM

(

SELECT

row_.*,

rownum rownum_

FROM

(select * from TB_CHSS_GRJKDA order by GRDAID) row_ )

WHERE

rownum_ <= 1000000

AND rownum_ >= 900000

2.

SELECT

t_table.*

FROM

TB_CHSS_GRJKDA t_table

WHERE

ROWID IN

(

SELECT

r_id

FROM

(

SELECT

r_id,

rownum rn

FROM

(

SELECT

ROWID r_id

FROM

TB_CHSS_GRJKDA t_table order by t_table.GRDAID ASC)

WHERE

rownum <= 10001000)

WHERE

rn >= 10001000)

第一种分页，随着数据量的增大，查询时间线性增长，在分页数达到50万左右后，做查询就变的很慢，需要几分钟时间，才能完成select查询，但是在resultset的递归中，网络IO可以达到10m/s

第二种分页，查询时间不会随着数据量的增大而增长，千万级的分页也就10s左右，但是，在做resultset递归时，网络IO却只有500k/s，另外一个让人迷惑的情况是，如果表中数据量只有100万左右时，网络IO也可以达到10m/s

请问各位大牛，这是什么情况，要如何解决？

2833a783f88e01a4e7eafc82e0d30dcd.gif

发表于 2013-9-6 14:50

|

只看该作者

第一个分页写的有问题

SELECT

*

FROM

(

SELECT

t.*,

rownum rn

FROM

(select * from TEST2 order by object_id) t

WHERE

rownum < 100

) a

where   a.rn > 90

应该是这样~

571bd0082f5894e3c6a7b910e84c8398.png

楼主|

发表于 2013-9-6 15:02

|

只看该作者

iori809 发表于 2013-9-6 14:50 thread-1814762-1-1.html

第一个分页写的有问题

你好，我照着你的分页试了下，在查询千万时，耗时依然很夸张，貌似用rownum分页千万数据，他会fetch前面900万数据，再去截断后面的数据

2833a783f88e01a4e7eafc82e0d30dcd.gif

发表于 2013-9-6 15:27

|

只看该作者

janwen2013 发表于 2013-9-6 15:02 thread-1814762-1-1.html

你好，我照着你的分页试了下，在查询千万时，耗时依然很夸张，貌似用rownum分页千万数据，他会fetch前面9 ...

分页的数据靠后的话~index扫描的肯定会多一些~

但你第二个写法应该也不会强那么多吧~

那个应该是走 IFFS~ 效率会有那么好吗~

无非就是不用回表~然后都是基于rowid获取数据~

如果方便的话其实贴个执行计划或者10046 你现在的信息提供的太少啊~

571bd0082f5894e3c6a7b910e84c8398.png

楼主|

发表于 2013-9-6 16:23

iori809 发表于 2013-9-6 15:27 thread-1814762-1-1.html

分页的数据靠后的话~index扫描的肯定会多一些~

但你第二个写法应该也不会强那么多吧~

那个应该是走 IFF ...

第一个是rownum的，第二个是走rowid的

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1031347029

--------------------------------------------------------------------------------

------

| Id  | Operation           | Name           | Rows  | Bytes | Cost (%CPU)| Time

|

--------------------------------------------------------------------------------

------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT    |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  1 |  VIEW               |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  2 |   COUNT STOPKEY     |                |       |       |            |

|

|   3 |    TABLE ACCESS FULL| TB_CHSS_GRJKDA |    10M|    17G|   735K  (1)| 02:2

7:04 |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

------

Predicate Information (identified by operation id):

---------------------------------------------------

1 - filter("A"."RN">10000000)

2 - filter(ROWNUM<10001000)

已选择16行。

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1057037051

--------------------------------------------------------------------------------

--------------

| Id  | Operation                   | Name           | Rows  | Bytes | Cost (%CP

U)| Time     |

--------------------------------------------------------------------------------

--------------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT            |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   1 |  NESTED LOOPS               |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   2 |   VIEW                      | VW_NSO_1       |    10M|   114M| 37500   (

1)| 00:07:31 |

|   3 |    HASH UNIQUE              |                |     1 |   238M|

|          |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|*  4 |     VIEW                    |                |    10M|   238M| 37500   (

1)| 00:07:31 |

|*  5 |      COUNT STOPKEY          |                |       |       |

|          |

|   6 |       INDEX FAST FULL SCAN  | SYS_C005435    |    13M|   159M| 37500   (

1)| 00:07:31 |

|   7 |   TABLE ACCESS BY USER ROWID| TB_CHSS_GRJKDA |     1 |  1927 |     1   (

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

0)| 00:00:01 |

--------------------------------------------------------------------------------

--------------

Predicate Information (identified by operation id):

---------------------------------------------------

4 - filter("RN">=10000000)

5 - filter(ROWNUM<=10001000)

已选择20行。

571bd0082f5894e3c6a7b910e84c8398.png

楼主|

发表于 2013-9-6 16:25

iori809 发表于 2013-9-6 15:27 thread-1814762-1-1.html

分页的数据靠后的话~index扫描的肯定会多一些~

但你第二个写法应该也不会强那么多吧~

那个应该是走 IFF ...

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1031347029

--------------------------------------------------------------------------------

------

| Id  | Operation           | Name           | Rows  | Bytes | Cost (%CPU)| Time

|

--------------------------------------------------------------------------------

------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT    |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  1 |  VIEW               |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  2 |   COUNT STOPKEY     |                |       |       |            |

|

|   3 |    TABLE ACCESS FULL| TB_CHSS_GRJKDA |    10M|    17G|   735K  (1)| 02:2

7:04 |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

------

Predicate Information (identified by operation id):

---------------------------------------------------

1 - filter("A"."RN">10000000)

2 - filter(ROWNUM<10001000)

已选择16行。

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1057037051

--------------------------------------------------------------------------------

--------------

| Id  | Operation                   | Name           | Rows  | Bytes | Cost (%CP

U)| Time     |

--------------------------------------------------------------------------------

--------------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT            |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   1 |  NESTED LOOPS               |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   2 |   VIEW                      | VW_NSO_1       |    10M|   114M| 37500   (

1)| 00:07:31 |

|   3 |    HASH UNIQUE              |                |     1 |   238M|

|          |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|*  4 |     VIEW                    |                |    10M|   238M| 37500   (

1)| 00:07:31 |

|*  5 |      COUNT STOPKEY          |                |       |       |

|          |

|   6 |       INDEX FAST FULL SCAN  | SYS_C005435    |    13M|   159M| 37500   (

1)| 00:07:31 |

|   7 |   TABLE ACCESS BY USER ROWID| TB_CHSS_GRJKDA |     1 |  1927 |     1   (

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

0)| 00:00:01 |

--------------------------------------------------------------------------------

--------------

Predicate Information (identified by operation id):

---------------------------------------------------

4 - filter("RN">=10000000)

5 - filter(ROWNUM<=10001000)

已选择20行。

571bd0082f5894e3c6a7b910e84c8398.png

楼主|

发表于 2013-9-6 16:34

iori809 发表于 2013-9-6 15:27 thread-1814762-1-1.html

分页的数据靠后的话~index扫描的肯定会多一些~

但你第二个写法应该也不会强那么多吧~

那个应该是走 IFF ...

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1031347029

--------------------------------------------------------------------------------

------

| Id  | Operation           | Name           | Rows  | Bytes | Cost (%CPU)| Time

|

--------------------------------------------------------------------------------

------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT    |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  1 |  VIEW               |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  2 |   COUNT STOPKEY     |                |       |       |            |

|

|   3 |    TABLE ACCESS FULL| TB_CHSS_GRJKDA |    10M|    17G|   735K  (1)| 02:2

7:04 |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

------

Predicate Information (identified by operation id):

---------------------------------------------------

1 - filter("A"."RN">10000000)

2 - filter(ROWNUM<10001000)

已选择16行。

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1057037051

--------------------------------------------------------------------------------

--------------

| Id  | Operation                   | Name           | Rows  | Bytes | Cost (%CP

U)| Time     |

--------------------------------------------------------------------------------

--------------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT            |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   1 |  NESTED LOOPS               |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   2 |   VIEW                      | VW_NSO_1       |    10M|   114M| 37500   (

1)| 00:07:31 |

|   3 |    HASH UNIQUE              |                |     1 |   238M|

|          |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|*  4 |     VIEW                    |                |    10M|   238M| 37500   (

1)| 00:07:31 |

|*  5 |      COUNT STOPKEY          |                |       |       |

|          |

|   6 |       INDEX FAST FULL SCAN  | SYS_C005435    |    13M|   159M| 37500   (

1)| 00:07:31 |

|   7 |   TABLE ACCESS BY USER ROWID| TB_CHSS_GRJKDA |     1 |  1927 |     1   (

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

0)| 00:00:01 |

--------------------------------------------------------------------------------

--------------

Predicate Information (identified by operation id):

---------------------------------------------------

4 - filter("RN">=10000000)

5 - filter(ROWNUM<=10001000)

已选择20行。

571bd0082f5894e3c6a7b910e84c8398.png

楼主|

发表于 2013-9-6 16:36

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1031347029

--------------------------------------------------------------------------------

------

| Id  | Operation           | Name           | Rows  | Bytes | Cost (%CPU)| Time

|

--------------------------------------------------------------------------------

------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT    |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  1 |  VIEW               |                |    10M|    13G|   735K  (1)| 02:2

7:04 |

|*  2 |   COUNT STOPKEY     |                |       |       |            |

|

|   3 |    TABLE ACCESS FULL| TB_CHSS_GRJKDA |    10M|    17G|   735K  (1)| 02:2

7:04 |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

------

Predicate Information (identified by operation id):

---------------------------------------------------

1 - filter("A"."RN">10000000)

2 - filter(ROWNUM<10001000)

已选择16行。

571bd0082f5894e3c6a7b910e84c8398.png

楼主|

发表于 2013-9-6 16:37

iori809 发表于 2013-9-6 15:27 thread-1814762-1-1.html

分页的数据靠后的话~index扫描的肯定会多一些~

但你第二个写法应该也不会强那么多吧~

那个应该是走 IFF ...

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

Plan hash value: 1057037051

--------------------------------------------------------------------------------

--------------

| Id  | Operation                   | Name           | Rows  | Bytes | Cost (%CP

U)| Time     |

--------------------------------------------------------------------------------

--------------

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|   0 | SELECT STATEMENT            |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   1 |  NESTED LOOPS               |                |     1 |  1939 | 83525   (

2)| 00:16:43 |

|   2 |   VIEW                      | VW_NSO_1       |    10M|   114M| 37500   (

1)| 00:07:31 |

|   3 |    HASH UNIQUE              |                |     1 |   238M|

|          |

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

|*  4 |     VIEW                    |                |    10M|   238M| 37500   (

1)| 00:07:31 |

|*  5 |      COUNT STOPKEY          |                |       |       |

|          |

|   6 |       INDEX FAST FULL SCAN  | SYS_C005435    |    13M|   159M| 37500   (

1)| 00:07:31 |

|   7 |   TABLE ACCESS BY USER ROWID| TB_CHSS_GRJKDA |     1 |  1927 |     1   (

PLAN_TABLE_OUTPUT

--------------------------------------------------------------------------------

0)| 00:00:01 |

--------------------------------------------------------------------------------

--------------

Predicate Information (identified by operation id):

---------------------------------------------------

4 - filter("RN">=10000000)

5 - filter(ROWNUM<=10001000)

已选择20行。

杜绍斐 DUSHAOFEI
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
OCCI结果集(ResultSet)性能优化
aoyan6658的博客
07-10 1279
对于ResultSet类中的next()方法，默认是一次检索一行数据，及一次检索执行一次网络往返，当结果集数量大时，效率低；对此OCCI提供了几种改善方法，即：在一次网络往返返回多行数据。 1. 通过使用setPrefetchRowCount()或setPrefetchMemorySize()方法设置预取属性 setPrefetchRowCount()设置要预取的行数，setPref...
oracle提高分页效率,oracle jdbc的分页效率的一点测试
weixin_31826879的博客
04-04 232
现在项目的分页是使用jdbc的 absolute的方法，设置Resultset为TYPE_SCROLL_INSENSITIVE。用了几年，问题也不大，在几个数据库上都测试过，100万条记录一点问题没有。当初曾经查看过jdbc的文档，确定数据只是在真正要取的时候才会从数据库读取， jdbc会根据fetch size的大小一次的预读一部分记录。这几天看的wicket的开发文档和pojo in acti...
ResultSet遍历慢的原因
hepct的博客
01-06 2051
ResultSet遍历慢的原因
ResultSet.next() 速度慢 怎么办
fighting_DW
03-09 4836
如果 java中执行ResultSet.next() 非常慢。 首先可以肯定的是ResultSet.next() 效率低下是错觉，真正效率低下的是写出SQL的执行速度，同样ResultSet只是代表着结果集，而不表示它就是整个结果集的数据 当出现奇怪的问题的时候，不要这么做： 大量重复测试 怀疑框架，怀疑Java，怀疑人生 言归正传，首先看一...
Oracle JDBC ResultSet参数测试
关注系统性能调优
10-12 860
用jprofiler和jconsole测试下列四种组合，前三种组合消耗年轻代100M左右，老年代没影响。第四种组合伤心病狂，年轻代和老年代均消耗400M， 可以检查一下项目，看有没有踩雷。 prepareStatement(sql); prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); pre...
开发者请注意oracle jdbc的resultSet.last()方法的效率问题
dolphin_ygj
07-20 544
在使用Hibernate分页器时，习惯使用直接把查询语句、页数、分页大小，传给分页器，这样会默认使用last来获取总记录数，效率非常的低。解决方法，很简单，就是用SQL来count查询条件获得总记录的Query，再给Hibernate分页器（本身就写好了的）。这样就必须多写几行代码，就是因为自己懒，觉着效果都一样，就简单的写了。数据量大了以后，就很明显的速度慢下来了。又全部重头改过，很是郁闷。转载...
com.oracle.ojdbc7jar包下载.zip
07-15
Class.forName("oracle.jdbc.driver.OracleDriver"); ``` 3. **建立连接**：使用`DriverManager.getConnection()`方法创建到Oracle数据库的连接。需要提供数据库URL、用户名和密码： ```java String url = ...
sqlfenye_java.rar.rar_java sql 分页_上传 Java_文件上传 java
09-19
SQL分页是数据库查询中用于限制返回结果集大小的一种技术，通常用于改善性能和用户体验。在Java中，我们可以使用JDBC（Java Database Connectivity）来实现SQL分页。 1. **SQL语句构造**：在SQL中，可以使用`LIMIT`...
PL/SQL中编写Oracle数据库分页的存储过程
09-09
在Oracle数据库中，分页是一种常见的数据检索方法，特别是在处理大量数据时，为了提高用户体验，分页能够有效地加载和展示一部分记录，而不是一次性加载所有数据。在PL/SQL环境中，我们可以编写存储过程来实现这一...
Java连接SQLServer和Oracle数据库.zip
07-07
Java作为一种多平台支持的编程语言，广泛应用于企业级应用开发，而SQLServer和Oracle则是两大主流的商业数据库系统。本资料主要探讨了如何使用Java来连接并操作这两个数据库。 首先，我们来看Java与SQLServer的连接...
对IBatis分页的改进,使ibatis支持hibernate式的物理分页.doc
最新发布
09-19
在传统的iBatis框架中，分页通常采用逻辑分页的方式，即通过游标（ResultSet）来逐条处理...不过，需要注意的是，不同的数据库系统对物理分页的支持程度和语法有所不同，因此在实现过程中需要考虑数据库的兼容性问题。
java中ResultSet遍历数据操作
08-18
主要介绍了java中ResultSet遍历数据操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Oracle数据库访问性能优化
热门推荐
smooth的博客
02-20 3万+
所有数据库包括Oracle的sql优化都是针对程序员的，而不是针对dba的，第一，尽量防止模糊，明确指出，即用列名代替*，第二，在where语句上下工夫。第三多表查询和子查询，第四尽量使用绑定。 根据计算机硬件的基本性能指标及其在数据库中主要操作内容，可以整理出如下图所示的性能基本优化法则： 这个优化法则归纳为5个层次： 1、减少数据访问（减少磁盘...
分批数据遍历的优化
不积跬步，无以至千里
07-29 762
有时候，我们进行大数据批量遍历检查等操作，常规的操作，我们通常需要手动实现分页形式的遍历，例如需要从数据库读取100万条记录，通常我们可能需要手动分批5000条一次进行数据读取和操作。如何简化代码的书写，进行大数据的批量遍历。实现分批数据遍历的方法就两步(1)继承AbstractListIterator类，实现getPage方法(2)使用where循环遍历}https。.................................
ResultSet参数类型说明
raynordlkk的专栏
09-22 1011
 cursor类型ResultSet.TYPE_FORWARD_ONLY   默认的cursor类型，仅仅支持向前forward，不支持backforward，random，last，first操作，类似单向链表。   TYPE_FORWARD_ONLY类型通常是效率最高最快的cursor类型ResultSet.TYPE_SCROLL_INSENSITIVE   支持backf
遍历ResultSet结果集的列信息
大金的专栏
04-11 1万+
现在的SSH开发框架非常流行，使得大家都有点忘记了JDBC的用法。笔者在工作中刚好遇到一个场景，由于对性能有较高要求，并且尽可能采用轻量级的技术方案，最终选择了最原始的JDBC技术。在功能模块开发的过程中，由于SQL是动态生成的，在获取结果集后要通过遍历ResultSet的列，将ResultSet转换为Map对象，在这里需要使用到结果集元数据类型。关键代码如下：Map<String, Object>
java.sql.resultset
06-06
java.sql.resultset是Java编程语言中的一个接口，它提供了一种访问关系型数据库中结果集的方法。ResultSet接口提供了一个包含一组行的表格，这些行可以通过执行SQL查询语句而生成。ResultSet可以被认为是一个包含了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值