最近做了一个Laravel命令行工具来处理大量用户数据。奇怪的是,每次处理到十多万条数据的时候就报如下内存耗尽错误:
PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 72 bytes) in [....]
出现该错误的原因是php.ini中默认设置php进程最大可以使用128M内存,一旦超过就会导致新分配内存失败。
可以使用以下语句将限制临时提高到1G内存:
ini_set('memory_limit', '1024M');
但这种方法毕竟是权宜之计,如果未来数据量指数级增加还是会出问题,所以必须找到内存暴涨的根源。
经过百般查找,把问题定位到了一个不起眼的DB查找语句:
...
$item = DB::table('表名')->where('user_id', $user_id)->where......
...
在Laravel官方文档找到以下说明:
Query Logging
By default, Laravel keeps a log in memory of a

在处理大量用户数据时,Laravel命令行工具遇到内存耗尽问题,原因是php进程内存限制和Query Logging功能。通过临时提高内存限制至1G并非长久之计。解决方法是定位到内存暴涨的DB查找语句,并根据Laravel官方文档禁用Query Logging,使用DB::connection()->disableQueryLog()来避免内存过度消耗,从而成功解决问题。
最低0.47元/天 解锁文章
2041

被折叠的 条评论
为什么被折叠?



