本文讲述了作者在部署一个Python程序时遇到的内存爆炸问题。程序原本采用生产者-消费者模型，但在生产环境中线程数被过度增加，导致内存持续增长直至系统OOM。原因是API调用速度超过数据库保存速度，积压数据占满内存。作者认识到Python多线程的局限性，并提出设置队列最大限制和使用多进程或协程作为解决方案。
本文原载于https://base.admirable.one/t/topic/149，作者亦是本人，特此申明。
最近有做一个程序，内容其实很简单：调用几百万次一个api，然后把结果保存到 MongoDB 数据库。
一开始我没有想到用 coroutine 等高级方法，就简单采用了“生产者消费者”的模式：第一组线程负责分配任务，第二组线程负责从api获取结果，然后保存到一个队列，第三组线程负责从队列中拿任务并保存到数据库。
程序很快就写出来了，在本机上跑也没有出现问题，但是后来部署到正式机器上后就出现了问题：程序启动后，内存一直拼命增长，直到把内存占满，然后被内核 OOM。
一开始，出于不自信，我想的是会不会是我的程序哪个地方内存泄漏了。但是经过资料的查找，
最低0.47元/天 解锁文章
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
