Django 使用 Celery 完成异步任务或定时任务

1 介绍

Celery是一个分布式任务队列，由三个主要组件组成：Celery worker、Celery beat 和消息代理（例如 Redis 或 RabbitMQ）。这些组件一起协作，让开发者能够轻松地执行异步任务和定时任务。

Celery worker：负责接收任务请求并执行任务。当您在 Django 应用程序中调用 apply_async 方法时，任务将被发送到 Celery worker，然后由 worker 执行。

Celery beat：负责调度定时任务。它会根据定义的规则定期触发任务，并将其发送到 Celery worker 处理。

所以，对于需要运行定时任务的情况，我们需要同时启动 Celery worker 和 Celery beat 进程来确保所有任务都可以被正确地处理和执行。

如果只需要使用 Celery 来执行异步任务，那么只需启动 Celery worker 即可。但如果需要周期性地执行任务，那么需要启动 Celery beat 来帮助完成调度这些任务。

运行 worker 与 beat

celery -A proj worker --loglevel=info --detach --pidfile=worker.pid --logfile=./logs/worker.log
celery -A proj beat --loglevel=info --detach --pidfile=beat.pid --logfile=./logs/beat.log
-A proj：指定 Celery 应用程序所在的模块或包，这里假设其名为 proj。
worker 或 beat：启动的进程名称，分别对应 worker 和 beat 两种类型的 Celery 进程。
–loglevel=info：设置日志级别为 info，即只记录 info 级别及以上的日志信息。
–detach：以守护进程（daemonized）方式启动 Celery 进程，使其在后台运行。
–pidfile=worker.pid 或 --pidfile=beat.pid：将进程 ID（PID）写入指定的 PID 文件，方便后续管理和监控。
–logfile=./logs/worker.log 或 --logfile=./logs/beat.log：指定日志文件路径，所有日志信息都会输出到该文件中。

2使用

这里使用celery调用两个脚本，两个脚本位于
custom/firewallvulnsmapping.py
custom/fortinet_crawler.py
1）安装依赖
确保你安装了以下包：

#进入虚拟环境
firewallenv\Scripts\activate
python -m pip install celery redis django-celery-beat
python -m pip install celery redis django_celery_results #查看任务执行结果

2）修改 settings.py
在 settings.py 中添加Celery的配置： myproject/settings.py

##
INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'firewall_app',  
    'django_celery_beat',# 添加Celery应用
    'django_celery_results',# 添加Celery结果展示应用
]

# Celery Configuration Options
# 使用 Redis 作为消息代理
CELERY_BROKER_URL = 'redis://localhost:6379/0'  # 或 'amqp://guest:guest@localhost:5672//' 如果使用 RabbitMQ
CELERY_RESULT_BACKEND = 'django-db'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Asia/Shanghai' # 设置时区
CELERY_ENABLE_UTC = True
# Celery Beat Settings (如果使用定时任务)
CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler' # 如果希望在 Django Admin 中管理定时任务，需要安装 django-celery-beat
# 或者使用默认的本地调度器：
# CELERY_BEAT_SCHEDULER = 'celery.beat:PersistentScheduler'
CELERY_BROKER_CONNECTION_RETRY_ON_STARTUP = True

LOGGING = {
   
   
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
   
   
        'file': {
   
   
            'level': 'INFO',
            'class': 'logging.FileHandler',
            'filename': 'c