存储过程分页

最新推荐文章于 2024-10-31 12:15:00 发布
最新推荐文章于 2024-10-31 12:15:00 发布
阅读量396 收藏
点赞数
文章标签： 存储 sql sql server insert object 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caipeng2008/article/details/5544870
版权

千万级分页存储过程时间:2009-02-18 22:33来源:未知 作者:超越梦想 点击:25次2百多万数据量的情况下性能还是蛮不错的，在网上找了找，发现这下面的这两个，其实还是一个，不过后面那个是灵活了许多，仅供参考。 复制 保存/****** Object: StoredProcedure [dbo].[GetR
　　2百多万数据量的情况下性能还是蛮不错的，在网上找了找，发现这下面的这两个，其实还是一个，不过后面那个是灵活了许多，仅供参考。
复制 保存/******
Object: StoredProcedure [dbo].[GetRecordFromPage]  
Script Date: 07/23/2008 18:42:05
******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
/*
函数名称: GetRecordFromPage
函数功能: 获取指定页的数据
参数说明: @tblName      包含数据的表名
           @fldName      关键字段名
           @PageSize     每页记录数
           @PageIndex    要获取的页码
           @OrderType    排序类型, 0 - 升序, 1 - 降序
           @strWhere     查询条件 (注意: 不要加 where)
*/
ALTER PROCEDURE [dbo].[GetRecordFromPage]
    @tblName      varchar(255),       -- 表名
    @fldName      varchar(255),       -- 字段名
    @PageSize     int = 10,           -- 页尺寸
    @PageIndex    int = 1,            -- 页码
    @OrderType    bit = 0,            -- 设置排序类型, 非 0 值则降序
    @strWhere     varchar(2000) = '' -- 查询条件 (注意: 不要加 where)
AS
declare @strSQL   varchar(6000)       -- 主语句
declare @strTmp   varchar(1000)       -- 临时变量
declare @strOrder varchar(500)        -- 排序类型

if @OrderType != 0
begin
    set @strTmp = '<(select min'
    set @strOrder = ' order by [' + @fldName +'] desc'
end
else
begin
    set @strTmp = '>(select max'
    set @strOrder = ' order by [' + @fldName +'] asc'
end

set @strSQL = 'select top ' + str(@PageSize) + ' * from ['
    + @tblName + '] where [' + @fldName + ']' + @strTmp + '(['
    + @fldName + ']) from (select top ' + str((@PageIndex-1)*@PageSize) + ' ['
    + @fldName + '] from [' + @tblName + ']' + @strOrder + ') as tblTmp)'
    + @strOrder

if @strWhere != ''
    set @strSQL = 'select top ' + str(@PageSize) + ' * from ['
        + @tblName + '] where [' + @fldName + ']' + @strTmp + '(['
        + @fldName + ']) from (select top ' + str((@PageIndex-1)*@PageSize) + ' ['
        + @fldName + '] from [' + @tblName + '] where ' + @strWhere + ' '
        + @strOrder + ') as tblTmp) and ' + @strWhere + ' ' + @strOrder

if @PageIndex = 1
begin
    set @strTmp = ''
    if @strWhere != ''
        set @strTmp = ' where (' + @strWhere + ')'

    set @strSQL = 'select top ' + str(@PageSize) + ' * from ['
        + @tblName + ']' + @strTmp + ' ' + @strOrder
end

exec (@strSQL)
这是我目前见过效率最高的，不过它的order by 是不是有点儿问题，不能指定某一个，还有没有返回总记录数。于是有了下面这个改进的。

如果需要总页数还可以再改一下，不过目前已经足够用了，当然，当达到千万数据量后，比上面的效率上稍微低了一点点，不过还不算太坏，

比较推荐下面这个。
复制 保存/******
Object: StoredProcedure [dbo].[usp_GetRecordFromPage]   
Script Date: 07/23/2008 18:42:37
******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
CREATE       PROCEDURE [dbo].[usp_GetRecordFromPage]
    @tblName       varchar(1000),        -- 表名
    @SelectFieldName    varchar(4000),              -- 要显示的字段名(不要加select)
    @strWhere       varchar(4000),              -- 查询条件(注意: 不要加 where)
    @OrderFieldName      varchar(255),               -- 排序索引字段名
    @PageSize       int ,                 -- 页大小
    @PageIndex      int = 1,                  -- 页码
    @iRowCount      int output,                 -- 返回记录总数
    @OrderType      bit = 0                  -- 设置排序类型, 非 0 值则降序
          
AS

declare @strSQL    varchar(4000)       -- 主语句
declare @strTmp    varchar(4000)        -- 临时变量
declare @strOrder varchar(400)        -- 排序类型
declare @strRowCount    nvarchar(4000)      -- 用于查询记录总数的语句

set @OrderFieldName=ltrim(rtrim(@OrderFieldName))

if @OrderType != 0
begin
    set @strTmp = '<(select min'
    set @strOrder = ' order by ' + @OrderFieldName +' desc'
end
else
begin
    set @strTmp = '>(select max'
    set @strOrder = ' order by ' + @OrderFieldName +' asc'
end

set @strSQL = 'select top ' + str(@PageSize) + @SelectFieldName+' from '
    + @tblName + ' where ' + @OrderFieldName + @strTmp + '('
    + right(@OrderFieldName,len(@OrderFieldName)-charindex('.',@OrderFieldName)) + ') from (select top ' + str((@PageIndex-1)*@PageSize)
    + @OrderFieldName + ' from ' + @tblName + @strOrder + ') as tblTmp)'
    + @strOrder

if @strWhere != ''
    set @strSQL = 'select top ' + str(@PageSize) + @SelectFieldName+' from '
        + @tblName + ' where ' + @OrderFieldName + @strTmp + '('
        + right(@OrderFieldName,len(@OrderFieldName)-charindex('.',@OrderFieldName)) + ') from (select top ' + str((@PageIndex-1)*@PageSize)
        + @OrderFieldName + ' from ' + @tblName + ' where ' + @strWhere + ' '
        + @strOrder + ') as tblTmp) and ' + @strWhere + ' ' + @strOrder

if @PageIndex = 1
begin
    set @strTmp = ''
    if @strWhere != ''
        set @strTmp = ' where ' + @strWhere

    set @strSQL = 'select top ' + str(@PageSize) + @SelectFieldName+' from '
        + @tblName + @strTmp + ' ' + @strOrder
end

exec(@strSQL)

if @strWhere!=''
begin
set @strRowCount = 'select @iRowCount=count(*) from ' + @tblName+' where '+@strWhere
end
else
begin
set @strRowCount = 'select @iRowCount=count(*) from ' + @tblName
end

exec sp_executesql @strRowCount,N'@iRowCount int out',@iRowCount out

 

在项目中，我们经常遇到或用到分页，那么在大数据量（百万级以上）下，哪种分页算法效率最优呢？我们不妨用事实说话。


测试环境

硬件：CPU 酷睿双核T5750 内存：2G
软件:Windows server 2003    +   Sql server 2005

OK,我们首先创建一数据库：data_Test,并在此数据库中创建一表：tb_TestTable
复制 保存create database data_Test --创建数据库data_Test
GO
use data_Test
GO
create table tb_TestTable   --创建表
(
    id int identity(1,1) primary key,
    userName nvarchar(20) not null,
    userPWD nvarchar(20) not null,
    userEmail nvarchar(40) null
)
GO
然后我们在数据表中插入2000000条数据:
复制 保存--插入数据
set identity_insert tb_TestTable on
declare @count int
set @count=1
while @count<=2000000
begin
    insert into tb_TestTable(id,userName,userPWD,userEmail) values
                       (@count,'admin','admin888','lli0077@yahoo.com.cn')
    set @count=@count+1
end
set identity_insert tb_TestTable off

我首先写了五个常用存储过程：

1，利用select top 和select not in进行分页，具体代码如下：
复制 保存create procedure proc_paged_with_notin --利用select top and select not in
(
    @pageIndex int, --页索引
    @pageSize int    --每页记录数
)
as
begin
    set nocount on;
    declare @timediff datetime --耗时
    declare @sql nvarchar(500)
    select @timediff=Getdate()
    set @sql='select top '+str(@pageSize)+' * from tb_TestTable where(ID not in(select top '+str(@pageSize*@pageIndex)+' id from tb_TestTable order by ID ASC)) order by ID'
    execute(@sql) --因select top后不支技直接接参数，所以写成了字符串@sql
    select datediff(ms,@timediff,GetDate()) as 耗时
    set nocount off;
end
2,利用select top 和 select max(列键)
复制 保存create procedure proc_paged_with_selectMax --利用select top and select max(列)
(
    @pageIndex int, --页索引
    @pageSize int    --页记录数
)
as
begin
set nocount on;
    declare @timediff datetime
    declare @sql nvarchar(500)
    select @timediff=Getdate()
    set @sql='select top '+str(@pageSize)+' * From tb_TestTable where(ID>(select max(id) From (select top '+str(@pageSize*@pageIndex)+' id From tb_TestTable order by ID) as TempTable)) order by ID'
    execute(@sql)
    select datediff(ms,@timediff,GetDate()) as 耗时
set nocount off;
end
3,利用select top和中间变量--此方法因网上有人说效果最佳，所以贴出来一同测试
复制 保存create procedure proc_paged_with_Midvar --利用ID>最大ID值和中间变量
(
    @pageIndex int,
    @pageSize int
)
as
    declare @count int
    declare @ID int
    declare @timediff datetime
    declare @sql nvarchar(500)
begin
set nocount on;
    select @count=0,@ID=0,@timediff=getdate()
    select @count=@count+1,@ID=case when @count<=@pageSize*@pageIndex then ID else @ID end from tb_testTable order by id
    set @sql='select top '+str(@pageSize)+' * from tb_testTable where ID>'+str(@ID)
    execute(@sql)
    select datediff(ms,@timediff,getdate()) as 耗时
set nocount off;
end
4,利用Row_number() 此方法为SQL server 2005中新的方法,利用Row_number()给数据行加上索引
复制 保存create procedure proc_paged_with_Rownumber --利用SQL 2005中的Row_number()
(
    @pageIndex int,
    @pageSize int
)
as
    declare @timediff datetime
begin
set nocount on;
    select @timediff=getdate()
    select * from (select *,Row_number() over(order by ID asc) as IDRank from tb_testTable) as IDWithRowNumber where IDRank>@pageSize*@pageIndex and IDRank<@pageSize*(@pageIndex+1)
    select datediff(ms,@timediff,getdate()) as 耗时
set nocount off;
end
5，利用临时表及Row_number
复制 保存create procedure proc_CTE --利用临时表及Row_number
(
    @pageIndex int, --页索引
    @pageSize int    --页记录数
)
as
    set nocount on;
    declare @ctestr nvarchar(400)
    declare @strSql nvarchar(400)
    declare @datediff datetime
begin
    select @datediff=GetDate()
    set @ctestr='with Table_CTE as
                (select ceiling((Row_number() over(order by ID ASC))/'+str(@pageSize)+') as page_num,* from tb_TestTable)';
    set @strSql=@ctestr+' select * From Table_CTE where page_num='+str(@pageIndex)
end
    begin
        execute sp_executesql @strSql
        select datediff(ms,@datediff,GetDate())
    set nocount off;
    end
OK,至此，存储过程创建完毕，我们分别在每页10条数据的情况下在第2页，第1000页，第10000页，第100000页，第199999页进行测试，耗时单位：ms 每页测试5次取其平均值
存过 第2页耗时 第1000页 第10000页 第100000页 第199999页 效率排行
1用not in 0ms 16ms 47ms 475ms 953ms 3
2用select max 5ms 16ms 35ms 325ms 623ms 1
3中间变量 966ms 970ms 960ms 945ms 933ms 5
4row_number 0ms 0ms 34ms 365ms 710ms 2
5临时表 780ms 796ms 798ms 780ms 805ms 4

caipeng2008
关注
Oracle 行列转换（存储过程）-mark
lingyu-youmo的专栏
11-11 584
create or replace procedure line_to_col(days     in integer) as   v1     varchar2(10);   t1     varchar2(2) := 'DD';   t2     varchar2(10):= 'yyyy/mm/dd';   sqlstr varchar2(32767) := 'create or re
SQLServer分页查询通用存储过程
热门推荐
阿影的黄金时代
02-22 1万+
自开始做项目以来，一直在用。这段存储过程的的原创者（SORRY，忘记名字了），写得这段SQL代码很不错，我在这个基础上，按照我的习惯以及思维方式，调整了代码，只做分页查询用。/**//*---------------------------------------------- *procedure name : prcPageResult *  author : FuChun *  cr
行列转换及存储过程分页
caipeng2008的专栏
03-18 737
ps：if exists (select name from sysobjects where name=tb1)drop table tb1gocreate table tb1(姓名 nvarchar(10),课程 nvarchar(10), 分数 int)insert into tb1 values(张三,语文,74);insert into tb1 values(张三,
项目中应用的行列转换(存储过程)
soft_luo的专栏
12-01 471
将所有的费用列横向显示 create proc sp_searchFeeByCommLetterIdas declare @sql varchar(8000)         set @sql = SELECT max(Fi.comm_letter_id) as commLetterId  select @sql = @sql + ,sum(case fi.name when
还是行列转换
weixin_30745641的博客
12-10 94
因为项目原因，需要对关系数据表查询并输出交叉表，这个问题网上资料很多，但基本思路雷同，通过拼sql，用case。。when生成表头。邹建有一个很好的过程，输入简单的参数就可以转换和汇总求和。但是存储过程方式受具体数据库影响，不易扩展。所以想有个方法对内存表进行处理，生成交叉表。网上找了很久，终于发现了老外的一个方法，不敢独享，共同学习。(求和有问题，修改了一下，可以多加一列”合计”) ...
asp.net SQL存储过程分页
01-20
您可能感兴趣的文章:asp.net中如何调用sql存储过程实现分页asp.net中oracle 存储过程（图文）asp...存储过程分页语句asp.net sql存储过程asp.net 存储过程调用asp.net安全、实用、简单的大容量存储过程分页asp.net安全
Sql Service存储过程分页
12-14
在SQL Server中，存储过程是预编译的SQL语句集合，可以用于执行常见的数据库操作，如分页查询。在本例中，我们探讨的是如何创建一个通用的存储过程来实现分页功能，这在处理大数据量时尤其有用，因为它可以有效地...
sqlserver 存储过程分页(按多条件排序)
09-11
在这个特定的情景中，我们讨论的是一个存储过程，它实现了分页功能，并且支持按照多个条件进行排序。 分页在Web应用中非常常见，特别是对于大型数据集，它能帮助用户更有效地浏览和处理数据。在SQL Server中，实现...
MYSQL 数据行列交换（交换数据） 存储过程实现
eagle89的专栏
01-05 871
交换数据
判断字符串中是不是只有数字，和数值类型
qq_42999356的博客
12-09 666
//导入包 import java.util.regex.Pattern; public static void main(String[] args) { Pattern pattern = Pattern.compile("[0-9]*"); if (pattern.matcher("189").matches()) { System.out.println("是纯数字"); }else { Sys
行转列通用存储过程
醉爱梁静茹
12-16 3422
行转列通用存储过程 1.创建行转列通用存储过程 SQL代码：create or replace procedure row_to_col(tabname         in varchar2,                                        group_col       in varchar2,                               
将{name=张三,age=45,phone=13565879858}格式的数据转换成对象集合
走路带轰的博客
05-29 747
简要说明：在日常工作中，常常会有一些特定数据要进行另外的处理。一般遇到有“{data=[{name=张三,age=21,phone=13515658728},{name=李四,age=22,phone=13545879885}]}”类型这样格式的数据，我们都要想到用栈的方式来匹配其中的括号。
mysql分组排名，行列转换、存储过程、分组拼接等
起早贪黑写bug
10-28 874
突然发现好久没有输出了，由于前段时间换了新工作，这段时间也没有接触到新的内容所以遇到的问题比较少，最近这段时间呢，主要是用mysql+excel做数据分析，接下来呢就将这段时间遇到的问题做个记录与君共勉 1.mysql排名的实现，由于mysql没有开窗函数，不能像hive那样用row_number很方便的实现 ...
NoSQL之 Redis配置与优化
abandon的博客
10-30 724
正常情况下，大部分的访问请求应该时先被redis缓存响应，在redis那里得不到响应的小部分访问请求才会去请求MySQL数据库获取数据，这样MySQL数据库的负载压力会非常小，能够正常稳定工作。6）开启lazy-free机制（lazyfree-lazy-* yes），将删除过期key的操作放到后台线程执行，减少大量的删除操作对redis主进程的阻塞。持久化保存的文件占用空间更大，恢复速度更慢，性能影响更大，AOF文件重写期间在fork子进程时也会阻塞redis主进程，且IO压力更大。
通过不当变更导致 PostgreSQL 翻车的案例分析与防范
2301_78385600的博客
10-30 392
PostgreSQL 虽然强大，但在不当的变更操作下也可能翻车。通过谨慎添加索引、合理设计表结构、谨慎调整参数以及确保备份与恢复，我们可以有效避免这些风险，确保数据库的稳定性和性能。在实际操作中，我们应时刻保持警惕，不断学习和总结，以应对各种可能的挑战。
PostgreSQL 取前一列不为 NULL
最新发布
云端的博客
10-31 342
PostgreSQL 取前一列不为 NULL
SQLServer存储过程分页实现与VC#调用示例
本文主要介绍了一个SQL Server存储过程，用于实现数据库分页查询，并提供了如何在VC#中调用该存储过程的示例。 在SQL Server中，分页查询是数据库应用中的常见需求，尤其在大数据量的列表展示时。这个名为`P_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值