django 查询时间范围_Django分页查询问题

使用MySQL缓存

开发环境为Django==2.1.7, djangorestframework==3.9.1, mysqlclient==1.4.2.post1 其他依赖包不赘述

原因

个人开发Django后端程序, 开启了SQL日志, 正巧现在在深入学习MySQL相关知识, 顺便进行了下性能测试. 不测试不知道, 一测试下一跳, 以下的是我遇到的问题和解决问题的过程.

  # django查询sql日志, 包括耗时和查询语句
  (0.040) SELECT COUNT(*) AS `__count` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1); args=(False, True)
  (0.046) SELECT `t_topic`.`id`, `t_topic`.`name`, `t_topic`.`owner_id`, `t_topic`.`cover`, `t_topic`.`background`, `t_topic`.`describe`, `t_topic`.`create_time`, `t_topic`.`update_time` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1) ORDER BY `t_topic`.`create_time` DESC  LIMIT 100 OFFSET 1000; args=(False, True)

我得吐槽下Django的ORM, 方便的地方特别方便, 不方便的地方又特别难搞, 比如我遇到的问题:

插入一千万条测试数据, 每次查询list分页前都会进行一次 SELECT COUNT(*) 操作, 这个可以理解, 但是哥哥, 一千万条数据未加索引情况下这个操作得耗时15秒左右.

  # 未加索引情况
  mysql> select count(*) from t_topic where is_delete = 0 and is_active =1;
  +----------+
  | count(*) |
  +----------+
  |  9999998 |
  +----------+
  1 row in set (15.10 sec)
  ​
  # 给where后条件字段加上加索引, 这个情况好多了
  mysql> select count(*) from t_topic where is_delete = 0 and is_active=1;
  +----------+
  | count(*) |
  +----------+