python 数据库查询内存不释放_为什么django中的大型查询(或一系列查询)之后内存不释放到系统?...

博客探讨了在Django中进行大型数据查询后内存未释放的问题。通过创建包含10000个用户的示例,作者注意到内存使用显著增加但不释放。尽管DEBUG设置为False,内存仍持续占用。文章讨论了Python内存管理,特别是Django查询集的行为,并尝试通过对比简单Python脚本中的内存释放来理解这一现象。作者寻求解决方案并分享了调试过程中使用的工具,如guppy和objgraph。
摘要由CSDN通过智能技术生成

首先,DEBUG = False在settings.py中,所以不,connections['default'].queries在耗尽所有内存之前不会增长。

让我们从这样一个事实开始:我已经用10000个用户从django.contrib.auth.models.User加载了User表(每个名为“test”,其中#是1到10000之间的数字)。

以下是视图:from django.contrib.auth.models import User

from django.http import HttpResponse

import time

def leak(request):

print "loading users"

users = []

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

users += list(User.objects.all())

print "sleeping"

time.sleep(10)

return HttpResponse('')

我已经将上面的视图附加到/leak/url并启动开发服务器(DEBUG=False,我已经测试过,它与运行开发服务器与其他实例无关)。

运行后:% curl http://localhost:8000/leak/

runserver进程的内存增长到下面的ps aux输出中看到的大小,然后保持在该级别。USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND

dlamotte 25694 11.5 34.8 861384 705668 pts/3 Sl+ 19:11 2:52 /home/dlamotte/tmp/django-mem-leak/env/bin/python ./manage.py runserver

然后运行上面的curl命令似乎不会增加实例的内存使用量(这是我从真正的内存泄漏中得到的?),一定是在重复使用内存?但是,我觉得这里有一些错误,内存没有被释放到系统中(但是,我理解python不释放内存可能会有更好的性能)。

接下来,我天真地试图查看python是否会释放它分配的大量内存。因此,我在python会话中尝试执行以下操作:>>> a = ''

>>> a += 'aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa' * 10000000

>>> del a

内存按预期分配到a += ...行,但当del a发生时,内存被释放。为什么django查询集的行为不同?这是django打算做的事情吗?有办法改变这种行为吗?

我花了两天时间调试这个行为,不知道下一步该怎么做(我已经学会了使用guppy和objgraph,它们似乎并没有指向任何我能找到的有趣的东西)。

更新:这可能只是工作中的python内存管理,与Django(Django用户邮件列表中建议的)无关,但我希望通过某种方式在Django之外的python中复制这一点来确认。

更新:使用python 2.6.5版

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值