编程技巧：SQL 处理超大查询

初级代码游戏的专栏介绍与文章目录-CSDN博客

我的github：codetoys，所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。

这些代码大部分以Linux为目标但部分代码是纯C++的，可以在任何平台上使用。

源码指引：github源码指引_初级代码游戏的博客-CSDN博客

---

一、数据库对内存和执行时间的限制

        处理数据库的时候很头疼的是数据库管理员很讨厌！非常讨厌！莫名其妙地，查询就失败了，连接就被复位了，怎么回事？因为数据库管理员干预了。

        查询数据量太大？不可以！查询时间太长？不可以！他就管他的数据库不要垮，不管你需要什么、不管客户需要什么！

        不过也要互相理解啊，大家都不容易，搞死了数据库大家都玩完。

二、分段查询（分页查询）

        所以遇到超大查询时我们一般会分段执行，限制返回的数据量，这种技术在前端也被称为“分页查询”。（分页就分页吧，你默认返回10行是怎么想的？你的屏幕这么小？）

        不吐槽前端了，我们做大业务处理的需要尽可能多返回数据，同时还要照顾数据库管理员的情绪，所以我们除了做分段还要耍点花招，毕竟分段太小会降低性能啊。

        我们要一个复杂一点的策略：自动寻找最合适分段。

三、动态分段大小的例程

        下面就是一个自动寻找最合适分段的例子，策略也不复杂：先从一个足够巨大的limit（mysql是limit，别的数据库应该不一样，比如oracle是rownum）开始，如果执行失败就减半，直到成功。

        代码如下（C#的，不过原理都是相同的）：

				Int32 last_id = Int32.MinValue;
				int limit = 100 * 10000;
				int total_records = 0;
				while (true)
				{
					StringBuilder sql = new StringBuilder();
					sql.Append($"select id,其它列 from 表 where id>{last_id} order by id limit {limit} ");
					MySqlCommand cmd = new MySqlCommand(sql.ToString(), mySqlTools.connection);
					MySqlDataReader reader = cmd.ExecuteReader();
					int current_count = 0;
					try
					{
						while (reader.Read())
						{
							if (total_records < 10)
							{
								ListViewItem item = listView_1.Items.Add(reader[0].ToString());
								item.SubItems.Add(reader[1].ToString());
								item.SubItems.Add(reader[2].ToString());
								item.SubItems.Add(reader[3].ToString());
							}
							last_id = reader.GetInt32(0);
							++current_count;
							++total_records;
						}
						reader.Close();
					}
					catch (Exception ex)
					{
						MessageBox.Show($"limit {limit}，将减半 已获取数据{total_records}条", "limit");
						limit /= 2;
					}
					if (0 == current_count) break;
				}
				MessageBox.Show($"记录 {total_records} 最终limit {limit}", "总数");

        我这个代码原来不用分段就行，后来数据量太大了，超过30秒就被断开连接了。

        查询按照id顺序，因此记住上一个id就可以继续查询。

---

（这里是文档结束）