百万条数据分页

写出代码之前,先说明一下原理,比较简单。有一张表(test)如下 
结构是:id(自动编号) txt   假设40条记录)
现在要每页显示10条记录,则每页要显示的数据应该是:
第一页:1----10
第二页:11----20
第三页:21----30
第四页:31----40

如要显示第一页,最简单的方法就是 select top 10 * from test 就OK了。

第二页开始呢?怎么做呢?请接着看:
比如我要显示第三页:也就是21----30
原理:找出不要的数据也就是1----20,最大的id,这是里20
再找出大于这个id(20) 前10条记录就OK了。

原理知道后写代码就简单了,前台界面比较简单,不多说,代码如下
后台代码:

< asp:LinkButton  id ="lbtnFirst"  Runat ="server" > 首頁 </ asp:LinkButton >
< asp:LinkButton  id ="lbtnBack"  Runat ="server" > 上頁 </ asp:LinkButton >
< asp:LinkButton  id ="lbtnNext"  Runat ="server" > 下頁 </ asp:LinkButton >
< asp:LinkButton  id ="lbtnLast"  Runat ="server" > 尾頁 </ asp:LinkButton >
< asp:Label  id ="Label1"  runat ="server" > 当前页: </ asp:Label >
< asp:Label  id ="lblCurrentPage"  runat ="server" > 1 </ asp:Label >
< asp:Label  id ="Label2"  runat ="server" > 总页: </ asp:Label >
< asp:Label  id ="lblPageCount"  runat ="server" > 200 </ asp:Label >
< asp:Label  id ="Label3"  runat ="server" > 跳转: </ asp:Label >
< asp:TextBox  id ="txtToPage"  runat ="server"  Width ="88px" ></ asp:TextBox >
< asp:Button  id ="btnToPage"  runat ="server"  Text ="go" ></ asp:Button >
< asp:DataGrid  id ="DataGrid1"  runat ="server"  AllowPaging ="True"  AllowCustomPaging ="True" ></ asp:DataGrid >

 

 

private   void  Page_Load( object  sender, System.EventArgs e)
  
{
   
if (!Page.IsPostBack)
   
{
    
//开始显示第一页
    ShowDate(Convert.ToInt64(lblCurrentPage.Text));
   }

  }


  
/// <summary>
  
/// 显示数据
  
/// </summary>
  
/// <param name="page"></param>

   private   void  ShowDate( long  page)
  
{
        
           
   
/*-------------------设置参数------------------*/

   
string tblName  = "test";
   
string fldName  = "id";
   
string orderStr = "asc";
   
int  PageSize = 10;
    
   
/*-------------------设置结束------------------*/

   
byte[] t =Convert.FromBase64String(System.Configuration.ConfigurationSettings.AppSettings["conStr"]);

   
string conStr = System.Text.ASCIIEncoding.ASCII.GetString(t);


   SqlConnection conn 
= new SqlConnection(conStr);
   conn.Open();
   SqlCommand cmd 
= new SqlCommand("select count(*) from " + tblName,conn);
   lblPageCount.Text 
= Convert.ToString(((int)cmd.ExecuteScalar() / PageSize + 1));
   DataGrid1.VirtualItemCount 
= Convert.ToInt32(lblPageCount.Text);//datadrid每次就显示一页,所有要手动加上总页
   
   
string sql = string.Empty;

   sql 
= "select top " + Convert.ToString((page - 1* PageSize) + " " + fldName + " from " + tblName +  " order by " + fldName + " " + orderStr; //排除的记录部分
   sql = "select max (" + fldName + ") from ( " + sql + " ) as t"//得到排除记录里的最大ID号
   sql = "select top " + PageSize.ToString() + " * from " + tblName + " where " + fldName + ">(" + sql + ") order by " + fldName + " " + orderStr;
   
   
if (page == 1){sql = "select top " + PageSize + " * from " + tblName;lblCurrentPage.Text = "1";}

   
try
   
{
    SqlDataAdapter da 
= new SqlDataAdapter(sql,conn);
    System.Data.DataSet ds 
= new DataSet();
    da.Fill(ds);
    DataGrid1.DataSource 
= ds.Tables[0].DefaultView;
    DataGrid1.DataBind();  

    conn.Close();

   }

   
catch ( Exception ex)
   
{
    Response.Write(ex.Message.ToString());
   }

   
  }


  
/// 首页
   private   void  lbtnFirst_Click( object  sender, System.EventArgs e)
  
{
   lblCurrentPage.Text 
= "1";
   ShowDate(
1);
  }


  
/// 上页
   private   void  lbtnBack_Click( object  sender, System.EventArgs e)
  
{
   
if (lblCurrentPage.Text != "1")
   
{
    lblCurrentPage.Text 
= Convert.ToString(Convert.ToInt64(lblCurrentPage.Text) - 1);
    ShowDate(Convert.ToInt64(lblCurrentPage.Text));
   }

  }


  
/// 下页
   private   void  lbtnNext_Click( object  sender, System.EventArgs e)
  
{
   
if (lblCurrentPage.Text != lblPageCount.Text)
   
{
    lblCurrentPage.Text 
= Convert.ToString(Convert.ToInt64(lblCurrentPage.Text) + 1);
    ShowDate(Convert.ToInt64(lblCurrentPage.Text));
   }

  }


  
/// 尾页
   private   void  lbtnLast_Click( object  sender, System.EventArgs e)
  
{
   lblCurrentPage.Text 
= lblPageCount.Text;
   ShowDate(Convert.ToInt64(lblPageCount.Text));
  }


  
/// 跳转
   private   void  btnToPage_Click( object  sender, System.EventArgs e)
  
{
   
if ( Convert.ToInt64(txtToPage.Text.Trim()) > 0 && Convert.ToInt64(txtToPage.Text.Trim()) < Convert.ToInt64(lblPageCount.Text))
   
{
    lblCurrentPage.Text 
= txtToPage.Text;
    ShowDate(Convert.ToInt64(txtToPage.Text));
   }

  }


  
/// dataGrid单击的页数
   private   void  DataGrid1_PageIndexChanged( object  source, System.Web.UI.WebControls.DataGridPageChangedEventArgs e)
  
{
   DataGrid1.CurrentPageIndex 
= e.NewPageIndex;
   lblCurrentPage.Text 
= Convert.ToString(e.NewPageIndex + 1);
   ShowDate(e.NewPageIndex 
+ 1);
  }

 

亲自测试sql2000 460万条记录,显示速度很快 
在Java中处理百万级别的数据并使用TiDB(开源分布式SQL数据库)进行分页查询,可以按照以下步骤进行: 1. **连接TiDB**: 首先,你需要通过JDBC(Java Database Connectivity)驱动程序连接到TiDB。安装相应的Java驱动,例如`com.pingcap.jdbc.tidb.TiDBDriver`。 ```java import com.pingcap.jdbc.tidb.TiDBDriver; // 创建连接 String url = "jdbc:tidb://<your_tidb_host>:<port>/<database>"; String user = "<username>"; String password = "<password>"; try { Class.forName(TiDBDriver.class.getName()); Connection conn = DriverManager.getConnection(url, user, password); } catch (ClassNotFoundException | SQLException e) { // handle exception } ``` 2. **设置分页查询**: TiDB支持LIMIT关键字进行分页,你可以将它与OFFSET关键字结合使用。例如,如果你想获取第20每页10记录,可以这样做: ```java PreparedStatement pstmt = conn.prepareStatement("SELECT * FROM your_table LIMIT ? OFFSET ?"); pstmt.setInt(1, 10); // 每页记录数 pstmt.setInt(2, (page - 1) * 10); // OFFSET计算 ResultSet rs = pstmt.executeQuery(); ``` 这里假设`page`是一个变量,表示当前面索引(从1开始计数)。 3. **处理结果集**: 遍历`ResultSet`获取数据,并记得关闭连接和资源: ```java while (rs.next()) { // 获取字段值并处理 } rs.close(); pstmt.close(); conn.close(); ``` **相关问题**: 1. TiDB有哪些特性有助于处理大数据量的分页查询? 2. 使用TiDB进行分页查询时如何优化性能? 3. 如果数据量非常大,如何避免一次性加载所有数据导致内存溢出?
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值