Django mysql 分页显示_Django分页查询问题

最新推荐文章于 2024-08-01 19:00:36 发布
最新推荐文章于 2024-08-01 19:00:36 发布
阅读量383 收藏 1
点赞数
文章标签： Django mysql 分页显示
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29505469/article/details/113894396
版权
本文探讨了在Django中遇到的分页查询性能问题，特别是每次分页查询前的COUNT(*)操作导致的延迟。通过在MySQL中添加索引和调整查询缓存设置，显著减少了查询时间。作者还提到Django ORM在此问题上的不足，并考虑了自定义分页类以实现本地缓存解决方案。
摘要由CSDN通过智能技术生成

使用MySQL缓存开发环境为Django==2.1.7, djangorestframework==3.9.1, mysqlclient==1.4.2.post1 其他依赖包不赘述

原因

个人开发Django后端程序, 开启了SQL日志, 正巧现在在深入学习MySQL相关知识, 顺便进行了下性能测试. 不测试不知道, 一测试下一跳, 以下的是我遇到的问题和解决问题的过程.

# django查询sql日志, 包括耗时和查询语句 (0.040) SELECT COUNT(*) AS `__count` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1); args=(False, True)

(0.046) SELECT `t_topic`.`id`, `t_topic`.`name`, `t_topic`.`owner_id`, `t_topic`.`cover`, `t_topic`.`background`, `t_topic`.`describe`, `t_topic`.`create_time`, `t_topic`.`update_time` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1) ORDER BY `t_topic`.`create_time` DESC LIMIT 100 OFFSET 1000; args=(False, True)

我得吐槽下Django的ORM, 方便的地方特别方便, 不方便的地方又特别难搞, 比如我遇到的问题:

插入一千万条测试数据, 每次查询list分页前都会进行一次 SELECT COUNT(*) 操作, 这个可以理解, 但是哥哥, 一千万条数据未加索引情况下这个操作得耗时15秒左右.

# 未加索引情况 mysql> select count(*) from t_topic where is_delete = 0 and is_active =1;

+----------+

| count(*) |

+----------+

| 9999998 |

+----------+

1 row in set (15.10 sec)

​

# 给where后条件字段加上加索引, 这个情况好多了 mysql> select count(*) from t_topic where is_delete = 0 and is_active=1;

+----------+

| count(*) |

+----------+

| 9999998 |

+----------+

1 row in set (2.25 sec)

加过索引后好多了, 大概耗时2秒左右, 但是真的, 你叫我哥吧, 你个烂Django(其实也不是Django的锅), 每次我翻页是得等俩秒等你查询下COUNT() ?, 是不是太蠢了.

一开始我还以为是我把那个分页的生命周期搞错了, 我有重写了APIVIEW, 把那个rest_framework.pagination.PageNumberPagination 对象初始化在类变量里, 天真的我以为他能在项目启动时初始化, 在第一次请求过来时把基本的COUNT() 信息缓存下来, 后来发现不是, 之后我又深入地看了下源码, 调用了django.core.paginator.Paginator 来进行分页, paginate_queryset时都会进行COUNT() 查询, 后来我想想不做缓存也有其合理之处哈, 如果某个记录发生更改, 添加了记录, 删除了记录这样缓存也就不准确了, 但是我还是不甘心啊.

想着这个COUNT() 如果能被数据库缓存掉, 数据库有个机制是缓存查询, 能够把常用的查询情况缓存下来, 数据库缓存有条件限制:

以下是配置解释:my.cnf配置文件

# 是否开启 query_cache_type = 1

# 最大查询限制 query_cache_limit = 1K

# 最小查询限制, 注意这个地方最大值必须大于最小值, 否侧缓存无法生效 query_cache_min_res_unit= 0

# 缓存总大小 query_cache_size = 16M

修改后重启MySQL后连接进行查询:

# 用来查询当前缓存状态, 表示此时的缓存已经被开启 mysql> SHOW VARIABLES LIKE '%query_cache%';

+------------------------------+----------+

| Variable_name | Value |

+------------------------------+----------+

| have_query_cache | YES |

| query_cache_limit | 1024 |

| query_cache_min_res_unit | 0 |

| query_cache_size | 16777216 |

| query_cache_type | ON |

| query_cache_wlock_invalidate | OFF |

+------------------------------+----------+

6 rows in set (0.00 sec)

​

# 查询缓存的信息 mysql> show status like '%Qcache%';

+-------------------------+----------+

| Variable_name | Value |

+-------------------------+----------+

| Qcache_free_blocks | 1 |

| Qcache_free_memory | 16760152 |

| Qcache_hits | 0 |

| Qcache_inserts | 0 |

| Qcache_lowmem_prunes | 0 |

| Qcache_not_cached | 0 |

| Qcache_queries_in_cache | 0 |

| Qcache_total_blocks | 1 |

+-------------------------+----------+

8 rows in set (0.00 sec)

​

# 第一次查询COUNT(*) mysql> select count(*) from t_topic where is_delete = 0 and is_active = 1;

+----------+

| count(*) |

+----------+

| 9999998 |

+----------+

1 row in set (2.27 sec)

​

# 再次查询缓存的使用情况, Qcache_inserts已经为1了, 说明对查询进行了缓存 mysql> show status like '%Qcache%';

+-------------------------+----------+

| Variable_name | Value |

+-------------------------+----------+

| Qcache_free_blocks | 1 |

| Qcache_free_memory | 16758616 |

| Qcache_hits | 0 |

| Qcache_inserts | 1 |

| Qcache_lowmem_prunes | 0 |

| Qcache_not_cached | 0 |

| Qcache_queries_in_cache | 1 |

| Qcache_total_blocks | 4 |

+-------------------------+----------+

8 rows in set (0.00 sec)

​

# 经过第一次查询后第二次进行查询, 基本不耗时了, 相当快 mysql> select count(*) from t_topic where is_delete = 0 and is_active = 1;

+----------+

| count(*) |

+----------+

| 9999998 |

+----------+

1 row in set (0.00 sec)

​

# 进行数据修改测试, 验证缓存是否会有效(修改其他表不会出现缓存失效情况) mysql> update t_topic set is_active = 0 where id ='00011adc-64ca-11e9-95e5-00163e06f891';

Query OK, 1 row affected (0.01 sec)

Rows matched: 1 Changed: 1 Warnings: 0

​

# 缓存失效, 查询时间又变为了2秒左右, 当然数据也发生了变化 mysql> select count(*) from t_topic where is_delete = 0 and is_active = 1;

+----------+

| count(*) |

+----------+

| 9999997 |

+----------+

1 row in set (2.24 sec)

​

# 再次查询, 上次结果缓存住了 mysql> select count(*) from t_topic where is_delete = 0 and is_active = 1;

+----------+

| count(*) |

+----------+

| 9999997 |

+----------+

1 row in set (0.00 sec)

Django分页查询:

# 第一次 (2.276) SELECT COUNT(*) AS `__count` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1); args=(False, True)

(0.038) SELECT `t_topic`.`id`, `t_topic`.`name`, `t_topic`.`owner_id`, `t_topic`.`cover`, `t_topic`.`background`, `t_topic`.`describe`, `t_topic`.`create_time`, `t_topic`.`update_time` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1) ORDER BY `t_topic`.`create_time` DESC LIMIT 100 OFFSET 1000; args=(False, True)

​

# 第二次, 明显快多了 (0.030) SELECT COUNT(*) AS `__count` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1); args=(False, True)

(0.038) SELECT `t_topic`.`id`, `t_topic`.`name`, `t_topic`.`owner_id`, `t_topic`.`cover`, `t_topic`.`background`, `t_topic`.`describe`, `t_topic`.`create_time`, `t_topic`.`update_time` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1) ORDER BY `t_topic`.`create_time` DESC LIMIT 100 OFFSET 1200; args=(False, True)

​

# 再次修改数据 mysql> update t_topic set is_active = 0 where id ='000122d9-64ca-11e9-95e5-00163e06f891';

Query OK, 1 row affected (0.01 sec)

Rows matched: 1 Changed: 1 Warnings: 0

​

# 更改数据后 (2.287) SELECT COUNT(*) AS `__count` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1); args=(False, True)

(0.051) SELECT `t_topic`.`id`, `t_topic`.`name`, `t_topic`.`owner_id`, `t_topic`.`cover`, `t_topic`.`background`, `t_topic`.`describe`, `t_topic`.`create_time`, `t_topic`.`update_time` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1) ORDER BY `t_topic`.`create_time` DESC LIMIT 100 OFFSET 1200; args=(False, True)

# 再次查询 (0.033) SELECT COUNT(*) AS `__count` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1); args=(False, True)

(0.041) SELECT `t_topic`.`id`, `t_topic`.`name`, `t_topic`.`owner_id`, `t_topic`.`cover`, `t_topic`.`background`, `t_topic`.`describe`, `t_topic`.`create_time`, `t_topic`.`update_time` FROM `t_topic` WHERE (`t_topic`.`is_delete` = 0 AND `t_topic`.`is_active` = 1) ORDER BY `t_topic`.`create_time` DESC LIMIT 100 OFFSET 1000; args=(False, True)

说明缓存还是蛮有用的吗, 起码在分页上, 非常棒 ! 但是把那个缓存大小设置成最小缓存了, 但一些其他的基础查询可能还是要被缓存到, 但这是我能想到最好的解决办法了, 后期不知道能否重写下分页的类, 自己做下本地缓存, 在类发生变更的情况下重新查询 COUNT.

我开发时还使用了JWT的登录验证包, 有个比较完蛋的问题是, 每次登录用户请求一次结果都需要把用户信息查询一次, 也没个缓存啥的, 下篇文章介绍下使用redis来缓存登录用户的基本信息, 对了说下, Django里的request.user这个还是相当好用的

吕二俏
关注
python在Django中，如何使用MySQL数据库进行分页怎么实现
shixuegen的专栏
04-28 1418
我们还使用了page_obj对象的一些属性，如has_previous、previous_page_number、number、paginator.num_pages和has_next，来显示分页链接。在你的视图中，你需要导入Paginator和get_object_or_404（如果你需要获取特定的对象）以及你的模型。最后，在你的模板my_template.html中，使用page_obj对象来显示分页链接和对象。在你的视图函数中，首先获取所有对象，然后使用Paginator进行分页。
django 查询时间范围_Django分页查询问题
weixin_31614235的博客
12-20 283
使用MySQL缓存开发环境为Django==2.1.7, djangorestframework==3.9.1, mysqlclient==1.4.2.post1 其他依赖包不赘述原因个人开发Django后端程序, 开启了SQL日志, 正巧现在在深入学习MySQL相关知识, 顺便进行了下性能测试. 不测试不知道, 一测试下一跳, 以下的是我遇到的问题和解决问题的过程. # django查询sql...
在Django项目中，实现数据的分页导航效果（附代码）
最新发布
Qj60776671的博客
08-01 158
【代码】在Django项目中，实现数据的分页导航效果
django分页、查询
m0_70015578的博客
05-10 1638
1. 分页 全局分页，在settings.py文件中写入项目 # 分页器 - 全局 REST_FRAMEWORK = { 'DEFAULT_PAGINATION_CLASS': 'rest_framework.pagination.PageNumberPagination', 'PAGE_SIZE': 2 } 局部分页 在view项目中写入方法 from rest_framework.pagination import PageNumberPagination class pa
django分页查询
qq_45597674的博客
06-25 278
分页管理 # 分页管理 class pageManagement(View): def get(self, request): try: page = int(request.GET.get('page', '1')) size = int(request.GET.get('size', '3')) startPage = 0 if page == 1: s
django mysql分页_Django基础之django分页
weixin_28706923的博客
02-03 189
一、Django的内置分页器(paginator)view[](javascript:void(0)????from django.shortcuts import render,HttpResponse# Create your views here.from app01.models import *from django.core.paginator import Paginator, Empty...
django_03_分页实现_zh.zip
08-01
本项目"django_03_分页实现_zh.zip"是基于Django、Python和MySQL数据库实现的一个简单分页功能，下面将详细介绍相关知识点。 1. Django框架： Django是用Python编写的高级Web框架，它遵循“约定优于配置”的原则，...
Django_ORM.zip_Oldboy 3_django_django orm_orm_session
09-24
4. 使用查询集（QuerySet）进行数据查询、过滤、排序、分页等操作。 5. 处理模型间的关系，如外键（ForeignKey）、一对多（OneToOneField、ManyToManyField）等。 6. Django session的配置，如设置session存储方式...
django提高分页查询效率
sinat_30812239的博客
09-17 892
Django分页一般使用Paginator类来实现。 分析一下Paginator类的实现： def page(self, number): """ Returns a Page object for the given 1-based page number. """ number = self.validate_number(number) bottom = (number - 1) * self.per_page
django 查询时间范围_django：基于时间范围的聚合查询
weixin_35952534的博客
01-14 235
I have the following models, Art and ArtScore:class Art(models.Model):title = models.CharField()class ArtScore(models.Model):art = models.ForeignKey(Art)date = models.DateField(auto_now_add = True)amo...
django中实现分页查询
廉少的博客
10-18 5863
首先要实现分页查询必须给定俩个参数page(当前页数)和pages(每页显示的数据量,即显示几条数据): 上代码: from django.core.paginator import Paginator def select_master(request): page=int(request.POST.get('page')) pageSize=int(request.POS...
Django（14）：分页查询
qq_43745578的博客
01-10 1193
Django分页查询
Django mysql 分页显示_DJango 多条件查询结果分页
weixin_39552204的博客
02-03 691
在学习Django中，练手做了个项目，在实际编程当中发现了N多个坑，现在记录下心得体会，方便以后查询，本人Models只使用了一张表,前端HTML如下图所示， 多条件查询可以使用的技术：Q查询查询条件动态存档放到1个字典里面，前台根据字典传值。如 status={ 'qq' : '123456' , 'startdate' ：' 2017-02-04', ' typeid' : ' 1...
Django分页
FatPuffer
06-30 353
1.分页 books/?page=1 假设每页显示10条数据 页码 数据id 数据库索引 1 1-10 [0:10] 2 11-20 [10:20] 3 21-30 [20:30] 4 31-40 [30:40] 5 41-50 [40:50] n [(n-1)*10:n*10] def books(request) # 获取前端page页码 page_...
django分页
一杯清茶的博客
03-09 309
django分页 # 官方文档 https://docs.djangoproject.com/en/3.1/topics/pagination/ 需要用到Paginator模块 from django.core.paginator import Paginator 实例 # 先创建model # 后端代码 from django.core.paginator import Paginator def get_list(request, pindex): lists = xxx.object
django-对查询结果的分页处理
hylon5的博客
11-25 1047
django-对查询结果的分页处理 1、引入分页插件 from django.core.paginator import Paginator 2、修改需要分页的代码 queryset = User.objects.all() # 每页显示10条记录 paginator = Paginator(queryset, 10) # 获取第2页的数据 page = paginator...
第十五单元 django分页、查询
CADN_F的博客
05-10 484
1. 分页 全局分页，在settings.py文件中写入项目 # 分页器 - 全局 REST_FRAMEWORK = { 'DEFAULT_PAGINATION_CLASS': 'rest_framework.pagination.PageNumberPagination', 'PAGE_SIZE': 2 } 局部分页 在view项目中写入方法 from rest_framework.pagination import PageNumberPagination class pa
Django使用Paginator插件实现分页查询
Dream_it_possible！的博客
08-15 1674
view 初始化的应用会生成一个views.py文件，一般在该文件里创建视图页面,然后通过HttpResponse响应出去或者抛出一个异常。
Django Model Select操作详解及MySQL对应查询
本文主要介绍了Django模型（Model）中`select`的多种用法，旨在帮助读者深入理解如何在Django中进行数据查询，并与MySQL的SQL语句相对应，便于理解。 在Django中，`Model.objects`是查询集（QuerySet）的入口点，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值