MySQL大数据量的分页读取

无论什么数据库，大数据量的各种处理都是难题，今天我就介绍下MySQL大数据量的分页处理。数据量大的时候读取数据我们优化的第一个想到的就是索引，这个是没有错的，但是如果一个数据表内有大约500W以上的数据（不考虑系统架构问题）我们需要读取40W以后的20条数据这个时候如何处理？

数据表的结构：

id                 bigint(20)  自增长
type_id         int(11) 
category_id   int(11)
user_id         bigint(20)     
title              varchar(200)
content        text

 

索引：

user_id列

 

我的查询语句：

 

SELECT * FROM `table` WHERE `user_id` = 10000 LIMIT 400000 , 20

 

这样的一条查询的运行时间在20S以上，这样的数据读取速度是任何用户都无法接受的，这条语句查询速度慢的原因是查询语句的偏移量设置过大，导致数据库要扫描过滤掉许多不需要的数据，所以才会导致查询的速度很慢，这个问题可以通过数据的缓存去解决，但是今天仅仅讨论的是数据的读取问题。

 

解决方案：

一：对用户读取的页数做限制，一个正常的用户是不需要读取到几十万页之后的数据，所以可以对用户的读取也数做限制，这个是不会影响到用户体验的，但是这部分数据就无法读取了

 

二：对数据进行倒序排列，由于我的id字段是自增长的我可以对他进行倒序排列，然后读取前几条数据，当然这种数据的读取是需要算法支持的，倒序的排列读取涉及到的是偏移量的设置，这种读取的速度用户是可以接受的返回熟读在2S以内！

 

结束语：

小生不才，多多献丑，如有不足之处还承蒙大家多多指教！

 

转载于:https://www.cnblogs.com/gaocheng/archive/2010/08/02/1790651.html