Celery 设置定时任务

介绍

celery是一个任务调度框架。需要注意，celery是用来调度任务的，它本身并不具备任务的存储功能。而我们在调度任务的时候肯定是要把任务存起来的。因此在使用celery的时候还需要搭配一些具备存储、访问功能的工具，比如：消息队列、Redis缓存、数据库等等。官方推荐的是消息队列RabbitMQ，个人认为有些时候使用Redis也是不错的选择。

使用场景

• 异步任务：一些耗时的操作可以交给celery异步执行，而不用等着程序处理完才知道结果。比如：视频转码、邮件发送、消息推送等等；
• 定时任务：比如定时推送消息、定时爬取数据、定时统计数据等等；
• producer：任务生产者，专门用来生产任务(task)的；
• broker：任务队列，用于存放生产者生产的任务。一般使用消息队列或者Redis来存储，但是具有存储功能的数据库也是可以的。这一部分是celery所不提供的，需要依赖第三方。作用就是接收生产者生产的消息，存进队列，再按顺序发给消费者；
• celery beat：任务调度器，调度器进程会读取配置文件的内容，周期性地将配置文件中到期需要执行的任务发送给消息队列；
• worker：消费者，执行任务的消费者，可以同时运行多个消费者，并行消费；
• backend：用于在任务结束之后保存状态信息和结果，以便查询，一般是数据库。

安装

pip intsal