实用单表千万级分页存储过程二（不敢独享，特此分享）

最新推荐文章于 2021-01-21 04:48:20 发布
最新推荐文章于 2021-01-21 04:48:20 发布
阅读量87 收藏
点赞数

实用单表千万级分页存储过程二（不敢独享，特此分享）

此存储过程适合所有排序字段，属于通用类型

本存储过程本人做了小修改

/**********************************************************************************************
********************通过指定的条件分页查询数据表【TableName or ViewName】记录******************
**********************************************************************************************/
IF EXISTS (SELECT * FROM dbo.sysobjects WHERE id = object_id (N'[dbo].[ThePaginationProcedureIsAllPurpose]') AND OBJECTPROPERTY(id, N'IsProcedure') = 1)
DROP PROCEDURE [dbo].[ThePaginationProcedureIsAllPurpose]
GO
--参数说明
-------------------------------------------------------------
/*
* @tblName   ----要显示的表或多个表的连接
* @fldName   ----要查询出的字段列表,*表示全部字段
* @pageSize   ----每页显示的记录个数
* @page    ----要显示那一页的记录
* @fldSort   ----排序字段列表或条件，如：id desc (多个id desc,dt asc)
* @Sort    ----排序方法，0为升序，1为降序
*      (如果是多字段排列Sort指代最后一个排序字段的排列顺序(最后一个排序字段
*      不加排序标记)--程序传参如：' SortA Asc,SortB Desc,SortC ')
* @strCondition  ----查询条件,不需where
* @ID    ----主表的主键
* @Dist    ----是否添加查询字段的 DISTINCT 默认0不添加/1添加
* @pageCount  ----查询结果分页后的总页数
* @Counts   ----查询到的总记录数
* @UsedTime   ----耗时测试时间差
*/
CREATE PROCEDURE [dbo].[ThePaginationProcedureIsAllPurpose]
(
 @tblName nvarchar(max),
 @fldName nvarchar(max) = '*',
 @pageSize int = 40,
 @page int = 1,
 @fldSort nvarchar(max) = null,
 @Sort bit = 1,
 @strCondition nvarchar(max) = null,
 @ID nvarchar(max),
 @Dist bit = 0,
 @pageCount int = 1 output,
 @Counts int = 1 OUTPUT,
 @UsedTime int OUTPUT
)
AS
 SET NOCOUNT ON
 Declare @sqlTmp nvarchar(max)   ----存放动态生成的SQL语句
 Declare @strTmp nvarchar(max)   ----存放取得查询结果总数的查询语句
 Declare @strID     nvarchar(max)  ----存放取得查询开头或结尾ID的查询语句
 Declare @strSortType nvarchar(max)  ----数据排序规则A
 Declare @strFSortType nvarchar(max)  ----数据排序规则B
 Declare @SqlSelect nvarchar(max)  ----对含有DISTINCT的查询进行SQL构造
 Declare @SqlCounts nvarchar(max)  ----对含有DISTINCT的总数查询进行SQL构造
 Declare @timediff DATETIME    --耗时测试时间差

 select @timediff=getdate()

 if @Dist = 0
 begin
  set @SqlSelect = 'select '
  set @SqlCounts = 'Count(*)'
 end
 else
 begin
  set @SqlSelect = 'select distinct '
  set @SqlCounts = 'Count(DISTINCT '+@ID+')'
 end

 if @Sort=0
 begin
  set @strFSortType=' ASC '
  set @strSortType=' DESC '
 end
 else
 begin
  set @strFSortType=' DESC '
  set @strSortType=' ASC '
 end
 --------生成查询语句--------
 --此处@strTmp为取得查询结果数量的语句
 if @strCondition is null or @strCondition=''     --没有设置显示条件
 begin
  set @sqlTmp =  @fldName + ' From ' + @tblName
  set @strTmp = @SqlSelect+' @Counts='+@SqlCounts+' FROM '+@tblName
  set @strID = ' From ' + @tblName
 end
 else
 begin
  set @sqlTmp = + @fldName + 'From ' + @tblName + ' where (1>0) ' + @strCondition
  set @strTmp = @SqlSelect+' @Counts='+@SqlCounts+' FROM '+@tblName + ' where (1>0) ' + @strCondition
  set @strID = ' From ' + @tblName + ' where (1>0) ' + @strCondition
 end
 ----取得查询结果总数量-----
 exec sp_executesql @strTmp,N'@Counts int out ',@Counts out
 declare @tmpCounts int
 if @Counts = 0
  set @tmpCounts = 1
 else
  set @tmpCounts = @Counts
    --取得分页总数
    set @pageCount=(@tmpCounts+@pageSize-1)/@pageSize
    /**当前页大于总页数 取最后一页**/
    if @page>@pageCount
        set @page=@pageCount
    --/*-----数据分页2分处理-------*/
    declare @pageIndex int --总数/页大小
    declare @lastcount int --总数%页大小 
                           --
    set @pageIndex = @tmpCounts/@pageSize
    set @lastcount = @tmpCounts%@pageSize
    if @lastcount > 0
        set @pageIndex = @pageIndex + 1
    else
        set @lastcount = @pagesize
    --//***显示分页
    if @strCondition is null or @strCondition=''     --没有设置显示条件
  begin
   if @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2   --前半部分数据处理
    begin 
     if @page=1
      set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName                        
       +' order by '+ @fldSort +' '+ @strFSortType
     else
     begin
      if @Sort=1
      begin                    
      set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
       +' where '+@ID+' '+@tblName
       +' order by '+ @fldSort +' '+ @strFSortType+') AS TBMinID)'
       +' order by '+ @fldSort +' '+ @strFSortType
      end
      else
      begin
      set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
       +' where '+@ID+' >(select max('+ @ID +') from ('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-1) as Varchar(20)) +' '+ @ID +' from '+@tblName
       +' order by '+ @fldSort +' '+ @strFSortType+') AS TBMinID)'
       +' order by '+ @fldSort +' '+ @strFSortType 
      end
     end    
    end
   else
    begin
    set @page = @pageIndex-@page+1 --后半部分数据处理
     if @page <= 1 --最后一页数据显示                
      set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@lastcount as VARCHAR(4))+' '+ @fldName+' from '+@tblName
       +' order by '+ @fldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fldSort +' '+ @strFSortType 
     else
      if @Sort=1
      begin
      set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
       +' where '+@ID+' >(select max('+ @ID +') from('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-2)+@lastcount as Varchar(20)) +' '+ @ID +' from '+@tblName
       +' order by '+ @fldSort +' '+ @strSortType+') AS TBMaxID)'
       +' order by '+ @fldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fldSort +' '+ @strFSortType
      end
      else
      begin
      set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
       +' where '+@ID+' '+@tblName
       +' order by '+ @fldSort +' '+ @strSortType+') AS TBMaxID)'
       +' order by '+ @fldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fldSort +' '+ @strFSortType 
      end
    end
  end
    else --有查询条件
  begin
   if @pageIndex<2 or @page<=@pageIndex / 2 + @pageIndex % 2   --前半部分数据处理
    begin
      if @page=1
       set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName                        
        +' where 1=1 ' + @strCondition + ' order by '+ @fldSort +' '+ @strFSortType
      else if(@Sort=1)
      begin                    
       set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
        +' where '+@ID+' '+@tblName
        +' where (1=1) ' + @strCondition +' order by '+ @fldSort +' '+ @strFSortType+') AS TBMinID)'
        +' '+ @strCondition +' order by '+ @fldSort +' '+ @strFSortType
      end
      else
      begin
       set @strTmp=@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
        +' where '+@ID+' >(select max('+ @ID +') from ('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-1) as Varchar(20)) +' '+ @ID +' from '+@tblName
        +' where (1=1) ' + @strCondition +' order by '+ @fldSort +' '+ @strFSortType+') AS TBMinID)'
        +' '+ @strCondition +' order by '+ @fldSort +' '+ @strFSortType 
      end           
    end
   else
    begin 
     set @page = @pageIndex-@page+1 --后半部分数据处理
     if @page <= 1 --最后一页数据显示
       set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@lastcount as VARCHAR(4))+' '+ @fldName+' from '+@tblName
        +' where (1=1) '+ @strCondition +' order by '+ @fldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fldSort +' '+ @strFSortType                     
     else if(@Sort=1)
       set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
        +' where '+@ID+' >(select max('+ @ID +') from('+ @SqlSelect+' top '+ CAST(@pageSize*(@page-2)+@lastcount as Varchar(20)) +' '+ @ID +' from '+@tblName
        +' where (1=1) '+ @strCondition +' order by '+ @fldSort +' '+ @strSortType+') AS TBMaxID)'
        +' '+ @strCondition+' order by '+ @fldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fldSort +' '+ @strFSortType    
     else
       set @strTmp=@SqlSelect+' * from ('+@SqlSelect+' top '+ CAST(@pageSize as VARCHAR(4))+' '+ @fldName+' from '+@tblName
        +' where '+@ID+' '+@tblName
        +' where (1=1) '+ @strCondition +' order by '+ @fldSort +' '+ @strSortType+') AS TBMaxID)'
        +' '+ @strCondition+' order by '+ @fldSort +' '+ @strSortType+') AS TempTB'+' order by '+ @fldSort +' '+ @strFSortType            
    end    
  end
------返回查询结果-----
exec sp_executesql @strTmp
set @UsedTime = datediff(ms,@timediff,getdate())
--select datediff(ms,@timediff,getdate()) as 耗时
--print @strTmp

SET NOCOUNT OFF
GO

 

编程是一门艺术

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/16436858/viewspace-616532/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/16436858/viewspace-616532/

cuanji3287
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
千万级分页存储过程实现对表的数据分页速度非常快
10-12
经测试，在 14483461 条记录中查询第 100000 页，每页 10 条记录按升序和降序第一次时间均为 0.47 秒，第二次时间均为 0.43 秒； 再生产环境中非常实用，帮助你解决线上数据库卡顿问题。
千万级数据分页实现
echocdzh的博客
01-07 7800
海量数据分页，已经无法使用数据库自带的分页机制，比如MySQL 的 Limit ，这会导致严重的性能问题 1．问题的提出  在软件开发中，大数据量的查询是一个常见的问题，经常会遇到对大量数据进行查询的场景。 常见的对大数据量查询的解决方案有以下两种： （1）、将全部数据先查询到内存中，然后在内存中进行分页，这种方式对内存占用较大，必须限制一次查询的数据量。 （2）、采用存储过程
实用单表千万级分页存储过程一（不敢独享，特此分享）
cuanji3287的博客
10-14 78
实用单表千万级分页存储过程一（不敢独享，特此分享） 此存储过程只适合于主键查询 意思就是其中变量@strSortKey和@strSortField必须都是主键，如：ID，ID desc 本存储过程本人做了小修改 ...
千万级数据分页之二---一个简单的自定义分页控件
高山流水
04-02 6775
 千万级数据分页详细设计1.引言1.1目的为适应大数据量分页的需要，为以后千万级数据分页提供解决方法或者参考，节省开发时间，特制定本详细设计方案1.2主要阅读对象脚本设计人员1.3参考资料http://www.cnblogs.com/SGSoft/archive/2004/10/23/55800.html2.详细设计2.1分页存储过程2.1.1简介2
mysql 千万数据分页_MySQL处理千万级数据查询、分页
weixin_30670053的博客
01-18 2803
MySQL数据库优化处理实现千万级快速分页分析，来看下吧。数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。最后collect 为 10万条记录，数据库表占用硬盘1.6G。OK ...
mysql存储过程批量更新千万数据_mysql 通过存储过程批量更新表数据
weixin_28911533的博客
01-21 2917
方法一：使用临时表批量更新表数据 (注意操作用户需要有mysql的创建临时表权限)delimiter $$# 删除 已有的 存储过程DROP PROCEDURE IF EXISTS update_user_account_method;# 创建新的存储过程CREATE PROCEDURE update_user_account_method()-- 批量更新HIK+手机号BEGIN# 批量更新sx...
sql server中千万数量级分页存储过程代码
01-19
/* *************************************************************** ** 中国无忧商务网千万数量级分页存储过程 ** *************************************************************** 参数说明: 1.Tables...
sqlserver 千万数量级分页存储过程代码
12-15
代码如下: set ANSI_NULLS ON set QUOTED_IDENTIFIER ON go Create PROCEDURE [dbo].[SP_Pagination] /**//* *************************************************************** ** 千万数量级分页存储过程 ** *****...
Elasticsearch初识与简单案例.pdf
04-29
Elasticsearch是一个基于Lucene的分布式全文搜索引擎，提供灵活且高效的搜索和分析功能。通过HTTP请求和客户端库，用户可以索引和搜索文档，执行复杂查询，进行数据分析，并享受高亮显示等特性。其高级功能如复合查询、聚合分析、滚动搜索等，使其适用于各种数据处理和分析场景。Elasticsearch还具有强大的监控和日志功能，确保集群稳定运行。总之，Elasticsearch是企业级搜索和分析的理想选择。
Python基于LSTM模型对全国的空气质量数据进行可视化分析预测源代码
04-29
介绍 对全国2019年1月至2023年12月的空气质量数据进行分析，绘制时间序列图，展示每月/每季度的平均AQI变化趋势。绘制不同省份和城市的平均AQI热力图。分析不同污染物的浓度分布和趋势。绘制空气质量等级分布图。 需求说明 对空气质量数据进行数据分析，并使用LSTM模型进行预测。 安装教程 pip install jupyter pip install numpy pandas matplotlib seaborn 使用说明 在项目路径下打开终端输入jupyter notebook就行
百问网linux桌面GUI，基于LVGL 8.x。.zip
04-29
百问网linux桌面GUI，基于LVGL 8.x。
基于Vue开发的XMall商城前台页面 PC端.zip
04-29
基于Vue开发的XMall商城前台页面 PC端.zip
2019年中国民航大学电子设计竞赛E题-自动导航运输车
04-29
2019年中国民航大学电子设计竞赛E题-自动导航运输车 全国大学生电子设计竞赛（National Undergraduate Electronics Design Contest），试题，解决方案及源码。计划或参加电赛的同学可以用来学习提升和参考
精灵宝可梦go游戏UI界面设计PSD源文件.zip
04-29
游戏开发资源，游戏UI，游戏GUI，游戏图标，PSD格式，XD格式，PNG下载，源文件，可编辑下载，游戏购物充值界面，宝石，图标，PS格式，AI格式等，游戏APP
线索二叉树的实现.doc
04-29
(1)逻辑设计：写出抽象数据类型的定义，各个主要模块的算法，并画出模块之间的调用关系图； (2)详细设计：定义相应的存储结构并写出各函数的伪码算法。 (3)程序编码：把详细设计的结果进二步求精为程序设计语言程序。 (4)程序调试与测试：采用自底向上，分模块进行，即先调试低层函数。 (5)结果分析：程序运行结果包括正确的输入及其输出结果和含有错误的输入及其输出结果。算法的时间、空间复杂性分析； 效果表现为用户输入一串字符表示的先序序列，程序能够根据这个序列正确地建立二叉树，并通过中序线索化非递归遍历结果。这有助于验证二叉树结构和遍历算法的正确性，同时对于理解和操作二叉树数据结构非常有帮助。 程序的输出结果证明了其对二叉树操作的正确性和有效性。
资源【STM32+HAL】SDIO模式读写SD卡
04-29
​ 一、准备工作 有关CUBEMX的初始化配置，参见我的另一篇blog：【STM32+HAL】CUBEMX初始化配置 二、所用工具 1、芯片： STM32F407VET6 2、IDE： MDK-Keil软件 3、库文件：STM32F4xxHAL库 三、实现功能 实现用DMA读写SD卡内容 ​
node-v10.4.0-win-x86.zip
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
HTML5小游戏源码下载网页版游戏JS小游戏-圈泡泡游戏源码.zip
04-29
HTML5小游戏源码下载，JS小游戏源码下载，坦克大战，驴子跳，连连看，俄罗斯方块，圈泡泡，塔防，太空战舰，愤怒的小鸟，植物大战僵尸，水果忍者，扫雷，超级玛丽，打地鼠，坦克大战，麻将等JS小游戏源码下载，游戏开发教程，网页游戏，本地直接打开就可以玩。
node-v12.4.0-sunos-x64.tar.xz
最新发布
04-29
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
千万级的表如何分页查询
03-22
对于千万级的表，分页查询可以采用以下两种方式： 1. 基于游标的分页查询：该方式通过设置游标来实现分页查询，每次查询时只返回指定数量的数据，可以减少内存的占用。具体实现可以使用 LIMIT 和 OFFSET 关键字，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值