实操百万级数据Django查询与性能优化

最新推荐文章于 2024-05-01 22:08:00 发布
最新推荐文章于 2024-05-01 22:08:00 发布
阅读量5.1k 收藏 12
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41666747/article/details/97853815
版权
本文讲述了在Django中处理百万级数据时遇到的页面卡死问题及解决方案。通过分析查询方法，发现未使用索引导致查询效率低下。通过借鉴原生SQL的`LIMIT`操作，优化Django的查询方式，使用切片只获取所需分页数据，显著提升了查询速度。同时，介绍了如何利用Django的`count()`方法高效获取数据数量，并讨论了在大数据量情况下，使用pandas的`read_sql`读取大表时内存消耗过大的问题。
摘要由CSDN通过智能技术生成

要做一个分页，发现前端页面卡死，原因因为数据量太大，百万级数据，经过优化查询方法，已经没问题了，页面数据都可以快速展示


1、先来看一组让页面卡死的代码：


 
 
def aaa(request):  page = request.GET.get('page')  start = (int(page) - 1) * 15 + 1  end = start + 15  all_arts = Article.objects.values("id","title").filter(type="python")  paginator = Paginator(all_arts, 15)  arts = all_arts[start:end]  product_list = paginator.page(page)get('page')
  start = (int(page) - 1) * 15 + 1
  end = start + 15

  all_arts = Article.objects.values("id",



                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  python爬虫人工智能大数据
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
django查询mysql千万数据_Django 数据统计查询

				
			

			

				

					weixin_33347102的博客
				

				

					01-27
					
					891
					
				

			

		

		

			
				
Django 数据库抽象 API描述了如何创建、检索、更新和删除独立的对象。但是，有时你会需要处理一些有关对象的集合的统计。本文描述如何使用 Django 查询来处理统计。本文我们将使用以下模型。这些模型用于在线书店图书清单：classAuthor(models.Model):name= models.CharField(max_length=100)age=models.IntegerFiel...

			
		

	



                

              
                



	

		

			

				
					
MySQL百万级数据分页查询及优化

				
			

			

				

					caodongfang126的博客
				

				

					07-02
					
					612
					
				

			

		

		

			
				
方法1: 直接使用数据库提供的SQL语句


	语句样式:MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N
	
	
	适应场景:适用于数据量较少的情况(元组百/千级)
	
	
	原因/缺点:全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). Limit限制的是从结果集的M位置处取出N条输出,其余抛弃.
...

			
		

	



                


  
              

                


	

		

			

				
					
django数据库查询性能优化

				
			

			

				

					hao_sir
				

				

					07-20
					
					399
					
				

			

		

		

			
				
1.select_related
查询数据时，会把外键关联的数据查出来，用于解决一对多的关系。
2.prefetch_related
针对多对多关系的数据，可以通过这个接口来避免N+1查询的问题。
这两个接口都是用来解决N+1查询的问题
何为N+1问题：
posts = Post.objects.all().defer('content')
for post in posts:    # 此时会执行数据库查询
	print(post.content)    # 此时会执行数据查询，获取到content

如

			
		

	





	

		

			

				
					
Django太强大，发现了一个性能优化神器

				
			

			

				

					python爬虫人工智能大数据
				

				

					08-01
					
					1892
					
				

			

		

		

			
				
Django很强大，发现了一个很有用的功能问题背景：百万级数据，做前端页面分页，出现打开网页第一次打开很慢，基本要好几秒，第二次打开速度较快，基本是秒开代码写了3个查询语...

			
		

	



		

			
		



	

		

			

				
					
百万数据查询优化【转】

				
			

			

				

					探索者
				

				

					09-06
					
					78
					
				

			

		

		

			
				
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。

2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： 
select id from t where num is null 
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： 
select...

			
		

	





	

		

			

				
					
django的数据分页

				
			

			

				

					qq_44778404的博客
				

				

					08-18
					
					154
					
				

			

		

		

			
				
views.py中




			
		

	





	

		

			

				
					
Python代码源码-实操案例-框架案例-Excel数据分析.zip

				
			

			

				

					02-22
				

			

		

		

			
				
在本压缩包“Python代码源码-实操案例-框架案例-Excel数据分析.zip”中，包含了一系列关于Python编程、实际操作案例以及特定框架下如何进行Excel数据分析的源代码。这个资源对于想要提升Python编程技能，特别是对...

			
		

	





	

		

			

				
					
Python代码源码-实操案例-框架案例-获取日期区间的数据.zip

				
			

			

				

					02-22
				

			

		

		

			
				
此外，对于大型数据集，优化查询（如使用数据库索引）也是提高性能的关键。  总的来说，这个压缩包中的代码示例可能是关于如何利用Python处理日期区间数据的实例，涉及了日期操作、数据读取、条件筛选以及可能的Web...

			
		

	





	

		

			

				
					
数据接口发布与接收案例教程.txt

				
			

			

				

					09-07
				

			

		

		

			
				
4. **性能优化**：针对可能出现的性能瓶颈进行优化调整。 5. **文档编写**：为接口编写详细的使用说明文档，便于其他开发人员快速上手。  #### 六、总结  通过本教程的学习，您不仅能够掌握数据接口的基本概念和技术...

			
		

	





	

		

			

				
					
Django多并发处理

				
			

			

				

					11-05
				

			

		

		

			
				
Django多并发处理详细不愁，安装uwsgi+nginx！很实用哦

			
		

	





	

		

			

				
					
python辽宁沈阳美食店铺数据可视化大屏全屏系统设计与实现（django框架）

				
			

			

				

					m0_54816834的博客
				

				

					04-26
					
					323
					
				

			

		

		

			
				
此外，我们还将对系统进行全面的测试和优化，确保系统的稳定性和性能。建议在后续的研究中，注重系统的实用性和用户体验，不断优化系统功能和性能，为辽宁沈阳地区的用户提供更优质的服务。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

			
		

	





	

		

			

				
					
Python Django 大量数据如何做分页处理

					
最新发布

				
			

			

				

					wjianwei666的专栏
				

				

					05-01
					
					77
					
				

			

		

		

			
				
当一个表中有很多符合查询条件的数据的时候，我们往往不需要把他们全部一次性取出来，那样对查询效率或者服务器性能来说都会是一个极大的挑战:例如最简单的商城，假设商城中有一万个数据，但我们在前端可能只会每次看到一页.该查询同样是通过子查询扫描字段id， 因为它不需要进行表的关联，而是一个简单的比较，在不知道上一页最大id的情况下，是比较推荐的用法。当然该查询的问题也在于，如果最大id不是连续的，则我们不一定能拿到这个id，比如当前在第3页，需要查询第5页的数据，就不行了。一个经典的思想就是分批展示和处理它们。

			
		

	





	

		

			

				
					
django执行数据库查询之后返回分页的结果

				
			

			

				

					xopqaaa的博客
				

				

					03-06
					
					2167
					
				

			

		

		

			
				
分页：

page = int(page) + 1
try:
    res = models.tables.objects.all().order_by('-id')

    paginator = Paginator(res, page_size)  # 生成分页实例
    dic['totalCount'] = paginator.count  # 获取数据总条数
    try:
 ...

			
		

	





	

		

			

				
					
Django 将一个因数据量过大，前端无法展示的接口，优化到2.8秒

				
			

			

				

					qq442000755的博客
				

				

					12-06
					
					1229
					
				

			

		

		

			
				
函数功能逻辑：

读取CSV文件。
	将文件内的点提取出来，处理成必要的格式。
	通过JOSN把数据返回给前端。


之前的遇到的问题：

文件点数达到百万级，数据量太大，传给前端直接卡死。
解决方案：

加入视图四个角的坐标，对数据进行切片，地图放大后只处理窗口内的点的数据。
	根据窗口内要处理的数据总数，隔一定的点再进行取点，再传给前端作为展示。（如一共有100W个点或以上，便每隔100个点取一个，限制传给前端的点的总数不超过10W。）
之后遇到的问题：

通过上面的两种方案，确实解决了前端因数据过大.

			
		

	





	

		

			

				
					
django -- 分页

				
			

			

				

					weixin_30312557的博客
				

				

					09-07
					
					106
					
				

			

		

		

			
				
前戏
分页是我们经常遇到的，只要有表单，数据量大的时候，都要用到分页，所以说分页是web开发里必不可少的知识点。
分页第一版
使用列表生成式来制造一些数据

user_data = [{'name':'zouzou{}'.format(i),'pwd':'abc{}'.format(i)} for i in range(1,303)]

在写个视图函数，把数据传给html文...

			
		

	





	

		

			

				
					
django高效率分页：

				
			

			

				

					weixin_30314793的博客
				

				

					11-26
					
					648
					
				

			

		

		

			
				
最近做一个分页的功能，网上很多资料都说用Paginator类来实现。可是看了一些例子，觉得这种分页方式在数据量非常大的情况下，效率会变得非常低下：
这里我们需要多少数据，从数据库中查询多少数据，在数据量很大的下，大大的提升了效率。
废话不多说，直接上代码：
python views.py

 ONE_PAGE_OF_DATA = 3
        try:
            ...

			
		

	





	

		

			

				
					
Django自带分页器性能问题分析及优化手段

				
			

			

				

					bocai_xiaodaidai的博客
				

				

					01-17
					
					996
					
				

			

		

		

			
				
参考我的这篇博客：

https://blog.csdn.net/bocai_xiaodaidai/article/details/104015031


			
		

	





	

		

			

				
					
django提高分页查询效率

				
			

			

				

					sinat_30812239的博客
				

				

					09-17
					
					892
					
				

			

		

		

			
				
Django分页一般使用Paginator类来实现。
分析一下Paginator类的实现：
def page(self, number):
        """
        Returns a Page object for the given 1-based page number.
        """
        number = self.validate_number(number)
        bottom = (number - 1) * self.per_page
     

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值