2019-12-17 celery 定时任务

最新推荐文章于 2022-09-07 20:53:18 发布
最新推荐文章于 2022-09-07 20:53:18 发布
阅读量254 收藏
点赞数
分类专栏： 分布式系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41735055/article/details/103581732
版权

1、目录结构

project                        # 项目根目录
    ├── celery_tasks           # 存放 celery 相关文件
    │   ├── __init__.py        # 初始化
    │   ├── celery_config.py   # 配置文件
    │   ├── async_tasks.py     # 异步任务文件 
    │   └── periodic_tasks.py  # 定期任务
    └── client.py              # 应用程序

2、__init__.py

#!/usr/bin/env python 
# -*- coding: utf-8 -*-
# @Time         : 
# @Author       : 
# @Mail         : 
# @File         : __init__.py
# @Description  : celery模块

from celery import Celery

celery_app = Celery(__name__)
celery_app.config_from_object('celery_tasks.celery_config')

if __name__ == '__main__':
    #celery_app.start(argv=['celery', 'worker', '-l', 'info', '-f', 'logs/celery.log'])
    pass

3、celery_config.py

#!/usr/bin/env python 
# -*- coding: utf-8 -*-
# @Time         : 
# @Author       : 
# @Mail         : 
# @File         : celery_config.py
# @Description  : celery 配置文件

# 导入crontab模块，对任务的执行时间进行准确的控制
from celery.schedules import crontab

# broker 默认是RabbitMQ
redis_server = '127.0.0.1'
# broker 储存任务队列
broker_url = 'redis://{}:6379/8'.format(redis_server)
# broker 任务结果队列， 如果不需要储存结果，可以不设置，能够提高速度
result_backend = 'redis://{}:6379/9'.format(redis_server)

# 时区设置
timezone = 'Asia/Shanghai'
# 不开启日志， 默认开启
worker_hijack_rout_logger = False
# 储存结果过期时间
result_expires = 60

# 将任务导入
imports = [
    'celery_tasks.async_tasks',        # 通过文件导入任务
    'celery_tasks.periodic_tasks'
]

# 设置定时
beat_schedule = {
    # 任务名称
    'test-every-10-seconds':{
        # 任务调用的函数
        'task': 'celery_tasks.periodic_tasks.test_periodic',
        # 任务执行的时间 该例中每10s执行一次
        # 也可使用crontab模块对其进行控制
        # 例如 'schedule': crontab(hour=7, minute=30, day_of_week=1)
        'schedule': 10.0,
        # 函数入参
        'args': ()
    },
}


if __name__ == '__main__':
    pass

4、async_tasks.py

#!/usr/bin/env python 
# -*- coding: utf-8 -*-
# @Time         : 
# @Author       : 
# @Mail         : 
# @File         : async_tasks.py
# @Description  : 异步任务

from celery import shared_task

# 导入生成的celery_app实例，通过该实例来绑定任务
from celery_tasks import celery_app

# shared_task 适用在没有创建celery_app的情况，同时 多个app同时调用时也适用
@shared_task
def test_shared():
    print("I am shared task.")
    return "succ"

# 将test函数绑定到celery_app
@celery_app.task
def test():
    print("I am tast task.")

# 有返回值的函数
@celery_app.task
def test_func():
    print("I am returning")
    return "succ"

5、periodic_tasks.py

#!/usr/bin/env python 
# -*- coding: utf-8 -*-
# @Time         : 
# @Author       : 
# @Mail         : 
# @File         : periodic_tasks.py
# @Description  : 定时任务

from celery_tasks import celery_app

# 绑定task
@celery_app.task
def test_periodic():
    print("test periodic task succ")

6、运行

cd到项目目录，即celery_tasks目录的上层目录

运行通过命令

celery -A celery_tasks  worker -l info

启动worker，运行成功，打印如下

～/test_celery$ celery -A celery_tasks worker -l info
 
 -------------- celery@xx v4.3.0 (rhubarb)
---- **** ----- 
--- * ***  * -- Linux-4.18.0-15-generic-x86_64-with-Ubuntu-18.04-bionic 2019-12-17 16:20:03
-- * - **** --- 
- ** ---------- [config]
- ** ---------- .> app:         celery_tasks:0x7fc4f241e278
- ** ---------- .> transport:   redis://127.0.0.1:6379/8
- ** ---------- .> results:     redis://127.0.0.1:6379/9
- *** --- * --- .> concurrency: 4 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** ----- 
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery
                

[tasks]
  . celery_tasks.async_tasks.test
  . celery_tasks.async_tasks.test_func
  . celery_tasks.async_tasks.test_shared
  . celery_tasks.periodic_tasks.test_periodic

[2019-12-17 16:20:03,896: INFO/MainProcess] Connected to redis://127.0.0.1:6379/8
[2019-12-17 16:20:03,904: INFO/MainProcess] mingle: searching for neighbors
[2019-12-17 16:20:04,923: INFO/MainProcess] mingle: all alone
[2019-12-17 16:20:04,937: INFO/MainProcess] celery@xx ready.

可以看到上图中tasks下的几个任务为我们导入的任务列表

测试时，可以在项目目录下启动python终端

:~/test_celery$ python
Python 3.6.8 (default, Jan 14 2019, 11:02:34) 
[GCC 8.0.1 20180414 (experimental) [trunk revision 259383]] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import celery_tasks.async_tasks as at  # 导入任务模块
>>> result = at.test.delay()               # 调用任务
>>> result.ready()                         # 查看任务是否执行完毕
True
>>> result.get()                           # 获取任务结果， test函数没有结果
>>> result = at.test_func.delay()       
>>> result.ready()
True
>>> result.get()                           # test_func函数返回结果 
'succ'
>>>

 celery终端中打印如下，可以看到 worker接收到我们执行任务的指令，并执行成功

[2019-12-17 16:38:27,273: INFO/MainProcess] Received task: celery_tasks.async_tasks.test[e6475ba2-4d91-453e-a8a1-5e91f6a7e662]  
[2019-12-17 16:38:27,275: WARNING/ForkPoolWorker-4] I am tast task.
[2019-12-17 16:38:27,282: INFO/ForkPoolWorker-4] Task celery_tasks.async_tasks.test[e6475ba2-4d91-453e-a8a1-5e91f6a7e662] succeeded in 0.006814451997342985s: None
[2019-12-17 16:38:44,838: INFO/MainProcess] Received task: celery_tasks.async_tasks.test_func[2529b5c5-91c8-4d67-89f6-0336035358b8]  
[2019-12-17 16:38:44,841: WARNING/ForkPoolWorker-3] I am returning
[2019-12-17 16:38:44,846: INFO/ForkPoolWorker-3] Task celery_tasks.async_tasks.test_func[2529b5c5-91c8-4d67-89f6-0336035358b8] succeeded in 0.005664669999532634s: 'succ'

7、启动定时任务

通过以下命令

celery beat -A celery_tasks -l info -f log/periodic_tasks.log

启动定时任务，并将日志写入指定文件中，如下

:~/test_celery$ celery beat -A celery_tasks -l info -f log/periodic_tasks.log
celery beat v4.3.0 (rhubarb) is starting.
__    -    ... __   -        _
LocalTime -> 2019-12-17 16:47:42
Configuration ->
    . broker -> redis://127.0.0.1:6379/8
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> log/periodic_tasks.log@%INFO
    . maxinterval -> 5.00 minutes (300s)

celery终端中打印如下，可以看到 worker接收到定期任务test_periodic，并运行成功

[2019-12-17 16:47:52,237: WARNING/ForkPoolWorker-3] test periodic task succ
[2019-12-17 16:47:52,238: INFO/ForkPoolWorker-3] Task celery_tasks.periodic_tasks.test_periodic[f0865f15-e0f4-4648-be72-e426a9aeae15] succeeded in 0.0017050319984264206s: None
[2019-12-17 16:48:02,237: INFO/MainProcess] Received task: celery_tasks.periodic_tasks.test_periodic[34f197ef-c189-4266-99c5-504514bcc2d2]  
[2019-12-17 16:48:02,238: WARNING/ForkPoolWorker-4] test periodic task succ
[2019-12-17 16:48:02,240: INFO/ForkPoolWorker-4] Task celery_tasks.periodic_tasks.test_periodic[34f197ef-c189-4266-99c5-504514bcc2d2] succeeded in 0.0013659879987244494s: None
[2019-12-17 16:48:12,237: INFO/MainProcess] Received task: celery_tasks.periodic_tasks.test_periodic[ed671fdf-0809-469b-8273-0de97eb98a9a]  
[2019-12-17 16:48:12,239: WARNING/ForkPoolWorker-3] test periodic task succ
[2019-12-17 16:48:12,240: INFO/ForkPoolWorker-3] Task celery_tasks.periodic_tasks.test_periodic[ed671fdf-0809-469b-8273-0de97eb98a9a] succeeded in 0.0012746300017170142s: None

8、其他

可以通过以下命令同时启动worker和beat

celery -B -A celery_tasks  worker -l info

可以通过以下命令在后台启动worker

celery multi start YOUR-TASK-NAME  -A celery_tasks -l info

停止/重启worker

celery multi stop/restart YOUR-TASK-NAME

辰歌`
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python Celery定时任务的示例
09-20
主要介绍了python Celery定时任务的示例,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
celery启动worker正常启动，收不到任务
merlon学习笔记
04-20 2358
celerty自定义队列demo_queue,然后使用命令以下命令启动没问题 celery -A tasks.tasks worker -P eventlet -Q queue_common -l debug 使用下面方式启动收不到任务 app.worker_main(argv=[ 'worker', '--loglevel=info', '--pool=threads', '--concurrency=100', '-Q d
在windows上使用celery异步发送邮件出现的一些问题
guestzhz的博客
06-07 783
1.直接使用命令行 celery -A celery_tasks.tasks worker -l info, celery_tasks.tasks
Celery 动态添加定时任务生产实践
李俊的博客
04-14 5947
需求 为了能够在Web端口动态添加定时任务的需求，本次来调研一下Celery 4.x 在Django框架下该如何动态添加定时任务。 Celery动态添加定时任务的官方文档 celery文档：https://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html#beat-custom-schedulers django-celery-beat文档 : https://pypi.org/project/django-celery-bea
celery在win10上无法执行Received task: never run问题
黄孝果的博客
11-02 761
celery正常启动方式 celery -A celery_tasks.main worker -l info win10上无法执行Received task: never run问题 celery -A celery_tasks.main worker --pool=solo -l info 解决办法启动worker时加上参数 --pool=solo
celery学习笔记（一）
sywcxx的成长空间
04-14 310
目录 1.最基本的使用方法 #main.py #tasks.py 运行 结果 2.采用模块化+配置文件 #celeryconfig.py #__init__.py #task1.py #main.py 运行 结果 总结 1.最基本的使用方法 主文件main.py+任务文件tasks.py #main.py ​ #- * - coding: UTF - 8 -*...
celery分布式任务队列从入门到精通
大帅的博客
09-10 1472
1. Celery简介 Celery是由纯python编写的，但是协议可以用任何语言实现。目前，已有Ruby实现的RCelery、Node.js实现的node-celery及一个PHP客户端，语言互通也可以通过using webhooks实现。在使用Celery之前，我们先来了解以下几个概念： 任务队列：简单来说，任务队列就是存放着任务的队列，客户端将要执行的任务的消息放入任务队列中，执行节点worker进行持续监视队列，如果有新任务，就取出来执行该任务。这种机制就像生产者消、费者模型一...
celery的使用
huang_yong_peng的博客
09-09 2371
celery(分布式任务队列) celery是一个基于python开发的分布式异步消息任务队列，通过它可以轻松实现任务的异步处理。 如以下场景就可以使用celery： 你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务执行ing进行时，你可以继续做其它的事情。...
Django实现celery定时任务过程解析
12-20
1.首先在项目同名目录下建一个celery.py from __future__ import absolute_import import os from celery import Celery from datetime import timedelta from kombu import Queue # set the default Django ...
python基于celery实现异步任务周期任务定时任务
09-18
主要介绍了python基于celery实现异步任务周期任务定时任务,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
ERROR/ForkPoolWorker- Pool process error: TypeError("Required argument 'object' (pos 1) not found",)
月球左边的角落
07-02 8573
问题描述celery的worker端报错：-------------- worker2@zheng-VirtualBox v4.2.0 (windowlicker)---- **** ----- --- * ***  * -- Linux-4.15.0-20-generic-x86_64-with-Ubuntu-18.04-bionic 2018-07-02 10:13:33-- * - ****...
django celery AttributeError: 'str' object has no attribute 'items'
hllyzms的博客
03-26 2312
django celery 启动报错 (lion) F:\django\lion>celery -A lion worker -l info [2019-03-26 09:12:17,582: WARNING/MainProcess] c:\anaconda3\envs\lion\lib\site-packages\celery\apps\worker.py:161: CDeprecati...
Celery(二）-----------------使用Celery的第二步
happyAnger6的专栏
05-15 1万+
使用Celery的第一步是有意最小化的介绍Celery。本节教程将为你展示Celery提供的更多细节，包括怎样为你的程序和库添加Celery支持。 本节教程不会介绍Celery的所有特性和最佳实践，所以建议你也阅读一下用户指引 User Guide。 在你的程序中使用Celery 我们工程的结构如下: 布局: proj/__init__.py /celery.py
Celery笔记二之celery项目建立、配置及加载方式介绍
weixin_43354181的博客
09-07 829
我们建立了一个名为 proj 的文件夹作为我们的项目文件夹，其下有两个文件，celery.py 和 tasks.pycelery.py在这里，我们还是对 celery 进行了实例化的操作，但是在这里项目名称改为了 proj，也就是这个文件的上一级文件夹名称broker、backend 还是对应的配置但是因为对应的任务我们是单独以文件的形式引入，所以，在这里引入的方式是通过 include 的方式来实现的。
进程管理工具Supervisor(一)简介与使用
weixin_34248118的博客
12-22 133
Supervisor是用Python开发的一套client/server架构的进程管理程序，能做到开机启动，以daemon进程的方式运行程序，并可以监控进程状态等等。 linux进程管理方式有传统的rc.d、新兴的upstart、systemd等，与这些相比，Supervisor有着自己的特点。 便利性 使用rc.d管理进程的时候，一是要写耗时耗力的脚本，二是管理的进程挂掉的话不会自动重启。 而s...
celery开发中踩的坑
weixin_34185364的博客
06-01 1739
celery开发中踩的坑 celery连接redis 当使用redis做broker，redis连接需要密码时： BROKER_URL='redis://:xxxxx@127.0.0.1:6379/0', 其中xxxxx是密码，密码前必须加冒号。 报错：Celery ValueError: not enough values to unpack (expected 3, g...
Celery定时任务
热门推荐
sicofield的专栏
03-20 4万+
Celery定时任务配置启用Celery的定时任务需要设置CELERYBEAT_SCHEDULE 。 Celery的定时任务都由celery beat来进行调度。celery beat默认按照settings.py之中的时区时间来调度定时任务。创建定时任务一种创建定时任务的方式是配置CELERYBEAT_SCHEDULE：#每30秒调用task.add from datetime import
celery多实例与多任务
勇敢的心博客
12-21 4276
celery多实例 简单的项目目录结构如下： /root/test/proj/celery ├── celeryconfig.py ├── celery.py ├── __init__.py └── tasks.py主程序celery.py #!/usr/bin/env python #coding:utf8 #拒绝隐式引入，因为celery.py的名字和celery的包名冲突，需要使用这
python中celery的应用
start2016的博客
06-25 3331
首先介绍下celery是什么？Celery是专注实时处理和任务调度的分布式任务队列。主要应用场景：1，web应用，当需要触发事件需要较长时间处理完成，可以交给celery进行异步执行，执行完后返回结果，这段时间不用等待，提高系统的吞吐量和响应时间。2，完成任务时，需要额外的事件处理，如发送邮件等。3，后台定时任务处理，celery可以帮助我们在不同服务器进行定时任务管理。主要特性：1,方便查询任务...
flask+celery定时任务
最新发布
01-12
Flask和Celery可以结合使用来实现定时任务。下面是一个示例： 1. 首先，确保你已经安装了Flask和Celery库。 2. 创建一个Flask应用，并配置Celery： ```python from flask import Flask from celery import Celery app = Flask(__name__) app.config['CELERY_BROKER_URL'] = 'redis://localhost:6379/0' app.config['CELERY_RESULT_BACKEND'] = 'redis://localhost:6379/0' celery = Celery(app.name, broker=app.config['CELERY_BROKER_URL']) celery.conf.update(app.config) ``` 3. 创建一个Celery任务： ```python @celery.task def my_task(): # 在这里编写你的定时任务逻辑 print("定时任务执行了！") ``` 4. 创建一个Flask路由来触发定时任务： ```python @app.route('/start_task') def start_task(): my_task.delay() return "定时任务已启动！" ``` 5. 启动Celery Worker： ```shell celery -A your_app_name.celery worker --loglevel=info ``` 6. 启动Flask应用： ```shell flask run ``` 7. 访问`http://localhost:5000/start_task`，即可触发定时任务。 请注意，上述示例中使用了Redis作为消息代理和结果后端，你可以根据自己的需求选择其他的消息代理和结果后端。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值