二分法使用select max大量数据分页

最新推荐文章于 2020-10-29 16:26:44 发布
最新推荐文章于 2020-10-29 16:26:44 发布
阅读量2.3k 收藏
点赞数
分类专栏： SQL Server 2005 文章标签： sql null 存储 output 测试 工作
    最近发现，这个分页方法有一个重大缺陷，就是要求作为主见的 ID 字段，和你要排序的字段的顺序必须对应，否则不能工作。
    1. -- /*-----存储过程 分页处理 孙伟 2005-03-28创建 ------*/  
    2. -- /*-----存储过程 分页处理 浪尘 2008-9-1修改----------*/
    3. --/*----- 苗苗老师 2009-11-08 修改 --------------------*/
    4. -- /*----- 对数据进行了2分处理使查询前半部分数据与查询后半部分数据性能相同 -------*/  
    6. alter PROCEDURE proc_paged_2part_selectMax 
    7. ( 
    8. @tblName     nvarchar(200),        ----要显示的表或多个表的连接 
    9. @fldName     nvarchar(500) =  '*' ,    ----要显示的字段列表 
    10. @pageSize     int  = 10,        ----每页显示的记录个数 
    11. @page         int  = 1,        ----要显示那一页的记录 
    12. @fldSort    nvarchar(200) =  null ,    ----排序字段列表或条件 
    13. @Sort        bit = 0,        ----排序方法，0为升序，1为降序(如果是多字段排列Sort指代最后一个排序字段的排列顺序(最后一个排序字段不加排序标记)--程序传参如： ' SortA Asc,SortB Desc,SortC ' ) 
    14. @strCondition    nvarchar(1000) =  null ,    ----查询条件,不需where 
    15. @ID        nvarchar(150),        ----主表的主键 
    16. @Dist                 bit = 0,           ----是否添加查询字段的 DISTINCT 默认0不添加/1添加 
    17. @pageCount     int  = 1 output,            ----查询结果分页后的总页数 
    18. @Counts     int  = 1 output                ----查询到的记录数 
    19. ) 
    20. AS 
    21. SET NOCOUNT ON 
    22. Declare @sqlTmp nvarchar(1000)        ----存放动态生成的SQL语句 
    23. Declare @strTmp nvarchar(1000)        ----存放取得查询结果总数的查询语句 
    24. Declare @strID     nvarchar(1000)        ----存放取得查询开头或结尾ID的查询语句 
    26. Declare @strSortType nvarchar(10)    ----数据排序规则A 
    27. Declare @strFSortType nvarchar(10)    ----数据排序规则B 
    29. Declare @SqlSelect nvarchar(50)         ----对含有DISTINCT的查询进行SQL构造 
    30. Declare @SqlCounts nvarchar(50)          ----对含有DISTINCT的总数查询进行SQL构造 
    32. declare @timediff datetime  --耗时测试时间差 
    33. select @timediff=getdate() 
    35. if  @Dist  = 0 
    36. begin 
    37.      set  @SqlSelect =  'select '  
    38.      set  @SqlCounts =  'Count(*)'  
    39. end 
    40. else  
    41. begin 
    42.      set  @SqlSelect =  'select distinct '  
    43.      set  @SqlCounts =  'Count(DISTINCT ' +@ID+ ')'  
    44. end 
    47. if  @Sort=0 
    48. begin 
    49.      set  @strFSortType= ' ASC '  
    50.      set  @strSortType= ' DESC '  
    51. end 
    52. else  
    53. begin 
    54.      set  @strFSortType= ' DESC '  
    55.      set  @strSortType= ' ASC '  
    56. end 
    60. --------生成查询语句-------- 
    61. --此处@strTmp为取得查询结果数量的语句 
    62. if  @strCondition  is   null  or @strCondition= ''      --没有设置显示条件 
    63. begin 
    64.      set  @sqlTmp = @fldName +  ' From '  + @tblName 
    65.      set  @strTmp = @SqlSelect+ ' @Counts=' +@SqlCounts+ ' FROM ' +@tblName 
    66.      set  @strID =  ' From '  + @tblName 
    67. end 
    68. else  
    69. begin 
    70.      set  @sqlTmp = @fldName +  'From '  + @tblName +  ' where (1>0) '  + @strCondition 
    71.      set  @strTmp = @SqlSelect+ ' @Counts=' +@SqlCounts+ ' FROM ' +@tblName +  ' where (1>0) '  + @strCondition 
    72.      set  @strID =  ' From '  + @tblName +  ' where (1>0) '  + @strCondition 
    73. end 
    75. ----取得查询结果总数量----- 
    76. exec sp_executesql @strTmp,N '@Counts int out ' ,@Counts  out  
    77. declare @tmpCounts  int  
    78. if  @Counts = 0 
    79.      set  @tmpCounts = 1 
    80. else  
    81.      set  @tmpCounts = @Counts 
    83.     --取得分页总数 
    84.      set  @pageCount=(@tmpCounts+@pageSize-1)/@pageSize 
    86.      /**/ /**/ /**/ /**当前页大于总页数 取最后一页**/  
    87.      if  @page>@pageCount 
    88.          set  @page=@pageCount 
    90.     -- /*-----数据分页2分处理-------*/  
    91.     declare @pageIndex  int  --总数/页大小 
    92.     declare @lastcount  int  --总数%页大小  
    94.      set  @pageIndex = @tmpCounts/@pageSize 
    95.      set  @lastcount = @tmpCounts%@pageSize 
    96.      if  @lastcount > 0 
    97.          set  @pageIndex = @pageIndex + 1 
    98.      else  
    99.          set  @lastcount = @pagesize 
    101.     -- //***显示分页 
    102.      if  @strCondition  is   null  or @strCondition= ''      --没有设置显示条件 
    103.     begin 
    104.          if  @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2   --前半部分数据处理 
    105.             begin  
    106.                  if  @page=1 
    107.                      set  @strTmp=@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName                         
    108.                         + ' order by ' + @fldSort + ' ' + @strFSortType 
    109.                  else  
    110.                 begin 
    111.                      if  @Sort=1 
    112.                     begin                     
    113.                      set  @strTmp=@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    114.                         + ' where ' +@ID+ ' <(select min(' + @ID + ') from (' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-1)  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    115.                         + ' order by ' + @fldSort + ' ' + @strFSortType+ ') AS TBMinID)'  
    116.                         + ' order by ' + @fldSort + ' ' + @strFSortType 
    117.                     end 
    118.                      else  
    119.                     begin 
    120.                      set  @strTmp=@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    121.                         + ' where ' +@ID+ ' >(select max(' + @ID + ') from (' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-1)  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    122.                         + ' order by ' + @fldSort + ' ' + @strFSortType+ ') AS TBMinID)'  
    123.                         + ' order by ' + @fldSort + ' ' + @strFSortType  
    124.                     end 
    125.                 end     
    126.             end 
    127.          else  
    128.             begin 
    129.              set  @page = @pageIndex-@page+1 --后半部分数据处理 
    130.                  if  @page <= 1 --最后一页数据显示                 
    131.                      set  @strTmp=@SqlSelect+ ' * from (' +@SqlSelect+ ' top ' + CAST(@lastcount  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    132.                         + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TempTB' + ' order by ' + @fldSort + ' ' + @strFSortType  
    133.                  else  
    134.                      if  @Sort=1 
    135.                     begin 
    136.                      set  @strTmp=@SqlSelect+ ' * from (' +@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    137.                         + ' where ' +@ID+ ' >(select max(' + @ID + ') from(' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-2)+@lastcount  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    138.                         + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TBMaxID)'  
    139.                         + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TempTB' + ' order by ' + @fldSort + ' ' + @strFSortType 
    140.                     end 
    141.                      else  
    142.                     begin 
    143.                      set  @strTmp=@SqlSelect+ ' * from (' +@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    144.                         + ' where ' +@ID+ ' <(select min(' + @ID + ') from(' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-2)+@lastcount  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    145.                         + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TBMaxID)'  
    146.                         + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TempTB' + ' order by ' + @fldSort + ' ' + @strFSortType  
    147.                     end 
    148.             end 
    149.     end 
    151.      else  --有查询条件 
    152.     begin 
    153.          if  @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2   --前半部分数据处理 
    154.         begin 
    155.                  if  @page=1 
    156.                      set  @strTmp=@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName                         
    157.                         + ' where 1=1 '  + @strCondition +  ' order by ' + @fldSort + ' ' + @strFSortType 
    158.                  else   if (@Sort=1) 
    159.                 begin                     
    160.                      set  @strTmp=@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    161.                         + ' where ' +@ID+ ' <(select min(' + @ID + ') from (' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-1)  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    162.                         + ' where (1=1) '  + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType+ ') AS TBMinID)'  
    163.                         + ' ' + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType 
    164.                 end 
    165.                  else  
    166.                 begin 
    167.                      set  @strTmp=@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    168.                         + ' where ' +@ID+ ' >(select max(' + @ID + ') from (' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-1)  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    169.                         + ' where (1=1) '  + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType+ ') AS TBMinID)'  
    170.                         + ' ' + @strCondition + ' order by ' + @fldSort + ' ' + @strFSortType  
    171.                 end            
    172.         end 
    173.          else  
    174.         begin  
    175.              set  @page = @pageIndex-@page+1 --后半部分数据处理 
    176.              if  @page <= 1 --最后一页数据显示 
    177.                      set  @strTmp=@SqlSelect+ ' * from (' +@SqlSelect+ ' top ' + CAST(@lastcount  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    178.                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TempTB' + ' order by ' + @fldSort + ' ' + @strFSortType                      
    179.              else   if (@Sort=1) 
    180.                      set  @strTmp=@SqlSelect+ ' * from (' +@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    181.                         + ' where ' +@ID+ ' >(select max(' + @ID + ') from(' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-2)+@lastcount  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    182.                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TBMaxID)'  
    183.                         + ' ' + @strCondition+ ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TempTB' + ' order by ' + @fldSort + ' ' + @strFSortType     
    184.              else  
    185.                      set  @strTmp=@SqlSelect+ ' * from (' +@SqlSelect+ ' top ' + CAST(@pageSize  as  VARCHAR(4))+ ' ' + @fldName+ ' from ' +@tblName 
    186.                         + ' where ' +@ID+ ' <(select min(' + @ID + ') from(' + @SqlSelect+ ' top ' + CAST(@pageSize*(@page-2)+@lastcount  as  Varchar(20)) + ' ' + @ID + ' from ' +@tblName 
    187.                         + ' where (1=1) ' + @strCondition + ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TBMaxID)'  
    188.                         + ' ' + @strCondition+ ' order by ' + @fldSort + ' ' + @strSortType+ ') AS TempTB' + ' order by ' + @fldSort + ' ' + @strFSortType             
    189.         end     
    190.     end 
    192. ------返回查询结果----- 
    193. exec sp_executesql @strTmp 
    194. select datediff(ms,@timediff,getdate())  as  耗时 
    195. --print @strTmp 
    196. SET NOCOUNT OFF 
    197. GO

     

    八九燕来
    关注
    • 0
      点赞
    • 踩
    • 0
      收藏
      觉得还不错? 一键收藏
    • 1
      评论
    专栏目录
    JavaScript用二分法查找数据的实例代码
    10-19
    在处理数组这类有序集合时，二分法是一种高效的查找算法，能够快速定位数据。二分法，也称折半查找，要求被查找的数组是有序的。其工作原理是，每次将当前查找区间分成两半，取中间位置的值与待查找的关键字进行比较...
    Java中使用二分法排序
    01-20
    //二分法 public class SplitBy2Sort { public static int splitBy2(int[] a， int num) { int low = 0; int high = a.length – 1; int mid; while (true) { // 取中间下标 mid = (low + high) / 2; if ...
    基于Select Max 的分页
    WDFrog的专栏
    03-20 1185
    基于Select Max 的分页,据网上的资料，说是最快的，于是，就添上来备用Create  PROCEDURE XPage@tblName   varchar(255),       -- 表名@strGetFields varchar(1000) = *,  -- 需要返回的列 @fldName varchar(255)=,      -- 排序的字段名: 必需是唯一的
    二分法搜索数据
    dream1df的博客
    12-11 314
    二分法搜索数据 在一组排好顺序的数组里面找到特定的数据并返回数据的位置。 二分法搜索数据具体过程如下： 一、先将数组排好顺序。 二、以中间为界将数组分为上下两个区间。 三、判断数据在上区间还是下区间。 四、重复上述二、三步骤直至找到相应的数据为止。 二分法搜索数据与普通搜索数据方法相比，理论上可以节约一半的时间。 Java实现 package HLJuniversity.RG.Learn.prac...
    sql server 多条记录数据合并为一条_tp框架查询数据
    weixin_39710251的博客
    10-29 256
    相信各位都是各界大佬，就不介绍mvc思想了查询多条数据获取多个数据（推荐静态调用select方法）①静态调用all方法或者select// 获取所有的数据all和select $list = User::all(); // 根据主键获取多个数据all和select where id in (1,2,3) $list = User::all('1,2,3'); $list = User::all(...
    二分法查找
    a771454823的博客
    05-10 61
    package lianxi; import java.util.*; public class Erfenchazhao { // 网上查到的方法 public static int halfSearch(int a[], int x) { int mid, left, right; left = 0; righ...
    高效分页排序方法
    寒色博客
    12-09 4954
    分页排序，当数据达到十万、百万级别的时候，使用何种方式分页排序效率高呢！最近在这个问题上不断的纠缠，网上也有很多方法，但各有各的不足之处。现在列出以下方法，仅供参考：以下方法测试环境：数据量总共166983条记录，每页30条，总共有5567页，读取的字段数目为28列 第1种方法：set ANSI_NULLS ONset QUOTED_IDENTIFIER ONgo
    SongyangJi#JavaBooks#数据结构-二分法1
    07-25
    二分法思想：在有序列表中，取中间记录作为比较对象，若给定值与中间记录的关键词相等，则查找成功；若给定值小于中间记录的关键词，则在中间记录的左半区继续查找；若给定
    Java使用二分法进行查找和排序的示例
    09-02
    本文将详细介绍如何在Java中使用二分法进行查找和排序。 首先，我们来看二分查找算法。二分查找的基本思想是通过不断将待查找区域减半来快速定位目标值。这个过程通常在有序数组中进行。假设我们有一个已排序的数组...
    vb.net二分法快速查找海量数据
    04-08
    这个函数的实现可以充分展示二分法查找的优势，尤其是在处理大量数据时，其性能优势尤为明显。 总的来说，通过理解和应用二分法查找，VB.NET开发者可以在处理大数据集时显著提升查找效率，降低计算资源的消耗。这个...
    一个高效分页存储过程
    girloflost的专栏
    01-15 405
    --建表create table tb_TestTable( id int identity(1,1) primary key not null, userName nvarchar(50) null, userPwd nvarchar(50) null, useremail nvarchar(200) null)--插入数据declare @count int set @count = 1w
    Oracle select max(id),min(id)一个经典优化案例
    weixin_34112181的博客
    09-05 1533
    今天在网上看到一道SQL优化题目，关于select max(id),min(id) from xxx；的优化，自己做了下实验： 1.创建测试表: create table max(id number,name varchar2(20)); 2.插入100000数据： declare i number; begin for i in ...
    循序渐进学会使用sql max/min 函数
    热门推荐
    peanut的博客
    02-03 3万+
    在SQL数据库中，最大/最小值函数—MAX()/MIN()是经常要用到的，下面就将为您分别介绍MAX()函数和MIN()函数的使用，供您参考，希望对您学习SQL数据库能有些帮助。 当需要了解一列中的最大值时，可以使用MAX()函数；同样，当需要了解一列中的最小值时，可以使用MIN()函数。语法如下。 SELECT MAX (column_name) / MIN (column
    MySQL的大分页查询该如何优化？
    程序猿DD
    05-26 2358
    点击蓝色“程序猿DD”关注我哟加个“星标”，不忘签到哦转自公众号：yangyidba一 背景大部分开发和DBA同行都对分页查询非常非常了解，看帖子翻页需要分页查询，搜索商...
    java 分批次处理大数据量数据
    才这么点的博客
    01-08 1万+
    需求:两个数据库A,B 现在对A库中一个字段加密后,插入到B库表中 业务分析:业务逻辑比较简单,从A库中拿到数据,数据清洗,插入B库中 业务难点:A库中表的数据量比较大,50W数据(相对意义大数据量),单纯select * from table 查询时间很长,而且容易内存溢出,并且数据清洗完插入B库中效率也是很慢的,我这里采取分批次处理,并且采用线程池 多线程处理数据 1.control...
    JSP页面中${page.pageSize} 是什么意思
    java学习中..
    02-26 5362
    相当于getAttribute(“pageSize”) page.pageSize表示从page范围内查找{page.pageSize}表示从page范围内查找 {pageSize}的话会依次从page,request,session,application中查找
    细谈select函数（C语言）
    ai1053154867的博客
    09-24 2133
    Select在Socket编程中还是比较重要的，可是对于初学Socket的人来说都不太爱用Select写程序，他们只是习惯写诸如connect、accept、recv或recvfrom这样的阻塞程序（所谓阻塞方式block，顾名思义，就是进程或是线程执行到这些函数时必须等待某个事件的发生，如果事件没有发生，进程或线程就被阻塞，函数不能立即返回）。可是使用Select就可以完成非阻塞（所谓...
    SQLServer存储过程详解
    xiangsuixinsheng的专栏
    07-05 722
    SET ANSI_NULLS ONGOSET QUOTED_IDENTIFIER ONGO CREATE proc [dbo].[up_Page2005] @TableName varchar(50),        --表名 @FIELDS varchar(
    设计C语言程序，使用二分法查找数组中的数据
    最新发布
    03-27
    以下是使用二分法查找数组中的数据的C语言程序： ```c #include int binarySearch(int arr[], int n, int key) { int low = 0, high = n - 1, mid; while (low ) { mid = (low + high) / 2; if (arr[mid] == ...
    评论 1
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值