【celery 内存泄漏问题的排查-＞task_time_limit】

项目场景：

提示：通过celery执行大量爬虫任务。

---

问题描述

提示：celery 的 worker每运行半小时就会重启，python3.8.7 celery5.2.3 redis作为中间人

@celery_app.task(soft_time_limit=60)  # time_limit 设置硬超时时间
def test(xxx):
    ...

---

原因分析：

提示：由于celery worker是在腾讯云集群上运行的，查看pod运行的资源监控图

pod limit设置为200Mi-800Mi，可以看到差不多半小时达到1000Mi后就pod就开始重启，内存泄漏应该就是造成pod不断重启的原因。

---

解决方案：

提示：1.google大法搜一搜，发现这个

不过是2013年的不知道还行不行。

2.再去celery github上看看

在issuess搜索oom,可以看到关于内存泄漏大量的bug反馈。
有说5.2.3已经修复了一个小泄漏（PS：看来还不是一个地方有问题），不过我们已经是最新版本了。

再继续看看，发现这个

可以看到13年到18年这个问题竟然还存在,我们可以去掉这个软硬时间试试看。

@celery_app.task  # 不再设置软硬超时时间
def test():
    ...

3.修改代码如上，更新到pod
运行一段时间后发现没有重启了，我们查看资源情况，如图

可以看到已经不会出现内存泄漏的问题。