我的github:codetoys,所有代码都将会位于ctfc库中。已经放入库中我会指出在库中的位置。
这些代码大部分以Linux为目标但部分代码是纯C++的,可以在任何平台上使用。
源码指引:github源码指引_初级代码游戏的博客-CSDN博客
一、数据库对内存和执行时间的限制
处理数据库的时候很头疼的是数据库管理员很讨厌!非常讨厌!莫名其妙地,查询就失败了,连接就被复位了,怎么回事?因为数据库管理员干预了。
查询数据量太大?不可以!查询时间太长?不可以!他就管他的数据库不要垮,不管你需要什么、不管客户需要什么!
不过也要互相理解啊,大家都不容易,搞死了数据库大家都玩完。
二、分段查询(分页查询)
所以遇到超大查询时我们一般会分段执行,限制返回的数据量,这种技术在前端也被称为“分页查询”。(分页就分页吧,你默认返回10行是怎么想的?你的屏幕这么小?)
不吐槽前端了,我们做大业务处理的需要尽可能多返回数据,同时还要照顾数据库管理员的情绪,所以我们除了做分段还要耍点花招,毕竟分段太小会降低性能啊。
我们要一个复杂一点的策略:自动寻找最合适分段。
三、动态分段大小的例程
下面就是一个自动寻找最合适分段的例子,策略也不复杂:先从一个足够巨大的limit(mysql是limit,别的数据库应该不一样,比如oracle是rownum)开始,如果执行失败就减半,直到成功。
代码如下(C#的,不过原理都是相同的):
Int32 last_id = Int32.MinValue;
int limit = 100 * 10000;
int total_records = 0;
while (true)
{
StringBuilder sql = new StringBuilder();
sql.Append($"select id,其它列 from 表 where id>{last_id} order by id limit {limit} ");
MySqlCommand cmd = new MySqlCommand(sql.ToString(), mySqlTools.connection);
MySqlDataReader reader = cmd.ExecuteReader();
int current_count = 0;
try
{
while (reader.Read())
{
if (total_records < 10)
{
ListViewItem item = listView_1.Items.Add(reader[0].ToString());
item.SubItems.Add(reader[1].ToString());
item.SubItems.Add(reader[2].ToString());
item.SubItems.Add(reader[3].ToString());
}
last_id = reader.GetInt32(0);
++current_count;
++total_records;
}
reader.Close();
}
catch (Exception ex)
{
MessageBox.Show($"limit {limit},将减半 已获取数据{total_records}条", "limit");
limit /= 2;
}
if (0 == current_count) break;
}
MessageBox.Show($"记录 {total_records} 最终limit {limit}", "总数");
我这个代码原来不用分段就行,后来数据量太大了,超过30秒就被断开连接了。
查询按照id顺序,因此记住上一个id就可以继续查询。
(这里是文档结束)