python之celery

最新推荐文章于 2024-05-03 11:07:56 发布
最新推荐文章于 2024-05-03 11:07:56 发布
阅读量497 收藏
点赞数
文章标签： python 数据库 操作系统
原文链接：http://www.cnblogs.com/xingxia/p/python_celery.html
版权

　　Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统，可以实时处理任务，也可以定时异步处理任务。
每次分发任务后得到一个ID，然后根据这个ID查询任务执行情况。

 

安装

　　

pip install celery eventlet  # windows系统需要eventlet模块

 

 

基础使用

下面我们来快速上手celery
编辑s1.py

1
2
3
4
5
6
7
8
9
10
11
 
#!/usr/bin/env python3

from celery import Celery

cel = Celery('xxx',
 broker="redis://192.168.1.40",
 backend='redis://192.168.1.40')

@cel.task
def f1(x,y):
 return x+y

 

然后把s1这个work工作起来，进入命令终端,如果在linux系统，不用添加参数-P eventlet

1
 
E:\pro\xxx_dir> celery worker -A s1 -l info  -P eventlet

 

编辑s2.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
#!/usr/bin/env python3

import datetime
from s1 import f1

# 立即执行
result = f1.delay(4,6)
print(result.id)

# 定时执行
ctime = datetime.datetime.now()
# ctime = datetime.datetime(year=2019,month=2,day=21,hour=14,minute=8)
utc_time = datetime.datetime.utcfromtimestamp(ctime.timestamp())
s10 = datetime.timedelta(seconds=10)
ctime_x = utc_time + s10
result = f1.apply_async(args=[1,3],eta=ctime_x)
print(result.id)

 

编辑s3.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
#!/usr/bin/env python3

from celery.result import  AsyncResult
from demo1.s1 import cel

async = AsyncResult(id="f43bce52-9503-475e-9d19-4a46ed910a8e",app=cel)

if async.successful():
 ret = async.get() # 获取值
 #async.forget() # 删除值
 print(ret)
elif async.failed():
 print('执行失败')
elif async.status == 'PENDING':
 print('任务等待中被执行')
elif async.status == 'RETRY':
 print('任务异常后正在重试')
elif async.status == 'STARTED':
 print('任务已经开始被执行')
else:
 print("任务执行失败")


async.revoke() # 取消一个任务，当一个任务正在执行，不能取消
async.revoke(terminate=True) # 终止一个任务，当一个任务正在执行，可以被终止

 

二、多目录结构

经过上面快速上手的学习，了解了celery的基本使用，那么重组一下代，形成项目中多目录结构看看相互之间如何调用？

创建一个celery_tasks的目录，里面一般保存2类文件，其中一个文件名称必须为celery,另一类就是定义task任务的文件，可以有多个。

定义celery_tasks/celery.py文件,如果有多个task任务文件，可以用includ列表包含进来

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
#!/usr/bin/env python3

from celery import Celery
# from celery.schedules import crontab

cel = Celery('xxxxxx',
 broker='redis://192.168.1.40:6379',
 backend='redis://192.168.1.40:6379',
 include=['celery_tasks.task1',)
 #include=['celery_tasks.task1','celery_tasks.task2'])

# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False

 

在多目录结构中，跑celery work时不用指定到文件，指定目录即可

1
 
E:\pro\xxx_dir> celery worker -A celery_tasks -l info  -P eventlet

 

定义celery_tasks/task1.py

1
2
3
4
5
6
7
 
#!/usr/bin/env python3

from .celery import cel

@cel.task
def f1(x,y):
 return x+y

 

有了celery.py文件和task任务文件，我们就可以在任意地方调用任务了。

比如定义test/exec1.py文件来执行任务

1
2
3
4
5
6
 
#!/usr/bin/env python3

from celery_tasks.task1 import f1

result = f1.delay(4,6)
print(result.id)

 

定义test/exec2.py文件来获取任务执行结果,需要提供任务ID

1
2
3
4
5
6
7
8
9
10
11
 
#!/usr/bin/env python3

from celery_tasks.celery import cel
from celery.result import AsyncResult

async = AsyncResult(id="be6bb021-da48-46a9-b1bc-94b987f7c8a7",app=cel)

if async.successful():
 print(async.get())
else:
 print("任务执行失败")

 

三、Flask中的例用

有了上面celery的认识，我们来简单写点代码，看一下在Flask框架中celery是如何使用的？

定义Flask项目启动文件app.py

写线上代码时是要把任务保存在数据库中的，这里仅作示例就保存在了HISTORY全局变量中了.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
 
#!/usr/bin/env python3

from flask import Flask,request,render_template,redirect

from celery_tasks.task2 import  deploy

app = Flask(__name__)

HISTORY = []

@app.route('/index',methods=["GET","POST"])
def index():
 if request.method == "GET":
 return render_template('index.html',history=HISTORY)


@app.route('/publish',methods=["GET","POST"])
def publish():
 if request.method == "GET":
 return render_template('publish.html')
 else:
 version = request.form.get("version")
 hosts = request.form.getlist("hosts")
 print(version,hosts)

 import datetime
 ctime = datetime.datetime.now()
 utc_time = datetime.datetime.utcfromtimestamp(ctime.timestamp())
 ctime_10 = utc_time + datetime.timedelta(seconds=10)
 result = deploy.apply_async(args=[version,hosts],eta=ctime_10)
 HISTORY.append({"version":version,"hosts":hosts,"task_id":result.id})
 print(HISTORY)
 return redirect("/index")

from celery.result import AsyncResult
from celery_tasks.celery import cel

@app.route('/check_result',methods=["GET","POST"])
def check_result():
 task_id = request.args.get("task_id")
 async = AsyncResult(id=task_id,app=cel)
 if async.successful():
 result = async.get()
 print(result)
 # result.forget() # 将结果删除
 return "执行成功"
 elif async.failed():
 return '执行失败'
 elif async.status == 'PENDING':
 return '任务等待中被执行'
 elif async.status == 'RETRY':
 return '任务异常后正在重试'
 elif async.status == 'STARTED':
 return '任务已经开始被执行'
 else:
 return "unkown status"

@app.route('/cancel', methods=["GET", "POST"])
def cancel():
 task_id = request.args.get("task_id")
 async =AsyncResult(id=task_id,app=cel)
 async.revoke(terminate=True)
 for i in HISTORY:
 if task_id in i.values():
 HISTORY.remove(i)
 return redirect("/index")

if __name__ == '__main__':
 app.run()

 

定义其中用到的templates/index.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h1>发布系统</h1>
<a href="/publish">添加发布任务</a>
<table>
 {% for row in history %}
 <tr>
 <td>{{ row.task_id }}</td>
 <td>{{ row.version }}</td>
 {% for host in row.hosts %}
 <td>
 <span>{{ host }}</span>
 </td>
 {% endfor %}
 <td><a href="/check_result?task_id={{ row.task_id }}">查看</a></td>
 <td><a href="/cancel?task_id={{ row.task_id }}">取消</a></td>
 </tr>
 {% endfor %}
</table>

</body>
</html>

 

定义其中用到的templates/publish.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<form action="" method="post">
 <p><input type="text" name="version" placeholder="请输入要发布的版本"></p>
 <p>
 <select name="hosts" multiple="multiple">
 <option value="c1.com">c1.com</option>
 <option value="c2.com">c2.com</option>
 <option value="c3.com">c3.com</option>
 </select>
 </p>
 <input type="submit" value="提交">
</form>
</body>
</html>

 

定义其中的celery_tasks.task2.py文件,这里的deploy是真正定义任务的地方.

1
2
3
4
5
6
7
8
 
#!/usr/bin/env python3

from .celery import cel

@cel.task
def deploy(version,hosts):
 print(version, hosts) # 定义想要执行的任务代码
 return 'deploy ok'

 

同样别望了先把work跑起来,再启动Flask

1
 
E:\pro\xxx_dir> celery worker -A celery_tasks -l info  -P eventlet
 
 
 

转载于:https://www.cnblogs.com/xingxia/p/python_celery.html

weixin_30888413
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python-celery
03-18
docker run --rm --name rabbit -d -p 5672:5672 -p 15672:15672 -e RABBITMQ_NODENAME=rabbit@celery -e RABBITMQ_DEFAULT_USER=rabbit -e RABBITMQ_DEFAULT_PASS=rabbit rabbitmq:3-management # Can add also ...
Celery笔记九之task运行结果查看
weixin_43354181的博客
09-12 2253
这一篇笔记介绍一下 celery 的 task 运行之后结果的查看。是将 task 的运行结果保存在 redis 的第二个数据库（数据库索引从0开始）。我们还可以将 task 的运行结果保存到 Django 的数据库，这一篇笔记将介绍如何查看 redis 和 Django 数据库中 task 运行的结果。
celery获取任务执行结果
热门推荐
大牛之路
02-18 2万+
在某些特定情境下，我们会先发起celery任务，过一段时间之后再获取其执行结果，而不用一直等待。 代码如下： from celery.result import AsyncResult res=AsyncResult("62051878-ca77-4895-a61f-6f9525681347") # 参数为task id res.result ...
python定时任务是异步的吗_Celery的使用完成异步任务与定时任务
weixin_39863918的博客
12-06 195
Apple iPhone 11 (A2223) 128GB 黑色 移动联通电信4G手机 双卡双待4999元包邮去购买 >0917自我总结Celery的使用一.官方文档Celery 官网：http://www.celeryproject.org/Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.htmlCelery 官方文...
使用Supervisor管理Python Celery
weixin_42014939的博客
05-09 495
下载、安装和使用 1、使用pip直接在当前虚拟环境下安装 pip install supervirsor 2、将supervirsor配置文件映射到指定目录，例如项目根目录 mkdir conf echo_supervisord_conf > conf/supervisod.conf 3、配置映射好的supervisor配置文件。基础配置如下：（将其前面的;删除即可） ...
celery 取消/revoke chunks group task 用group id 取消任务／获取结果
FMatch的博客
11-14 1497
1 异步发布group/chunks任务 2group/chunks进默认队列 发布时需要指定队列 3 获取group/chunks任务的结果 4 取消group/chunks任务 # task1 result = task1.chunks(zip(range(100000), range(100000)), 10).apply_async(queue='queue1') result...
python使用celery实现异步任务执行的例子
09-18
今天小编就为大家分享一篇python使用celery实现异步任务执行的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在RedHat系Linux上部署Python的Celery框架的教程
09-22
主要介绍了在RedHat系Linux上部署Python的Celery框架的教程, Celery是一个并行分布框架,拥有良好的I/O性能,需要的朋友可以参考下
python celery分布式任务队列的使用详解
09-19
主要介绍了python celery分布式任务队列的使用详解，Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery,...
python教程：python基于celery实现异步任务周期任务定时任务
01-21
这篇文章主要介绍了python基于celery实现异步任务周期任务定时任务,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 hello, 小伙伴们, 好久不更新了,这一次带来...
Python编程：使用supervisor管理Django-Celery进程
彭世瑜的博客
03-02 1635
supervisor 进程管理工具 安装 python2 pip install supervisor 配置 $ mkdir config # 生成配置文件 $ echo_supervisord_conf &gt; config/supervisord.conf 修改配置文件 config/supervisord.conf 1、开启web管理界面：inet_http_server 2、开启管...
python之celery简单使用
zt3032的博客
02-04 2109
celery是一个简单、灵活和可靠的分布式任务处理系统。专注实时任务队列，也支持任务调度。 一、celery主要包括四个部分 1、任务调度者， 2、中间件，传递任务 broker（常用的有redis、rabbitmq） 3、任务执行者（work） 4、结果存储 backend（存储执行完成的结果，告知任务调度者） 二、创建一个task, task.py import ce
Celery关闭执行中的任务策略
Janebook的博客
03-08 7192
问题描述：设计的系统中需要执行一个长时间的运行的任务，这个任务可以比作是“开启机器后，机器的运行”。现在需要对机器的停止可控，于是需要研究Celery中关闭执行中的任务方法。 首先，参考文章《celery 停止执行中 task》，这篇文章中提出“celery 管理工具flower里面好像有停止celery task的功能”，于是开启Celery的flower发现，确实可通过“flower”进行控...
celery state update和revoke实验
weixin_39604832的博客
12-13 1368
redash开发环境搭建Windows pycharm超详细（2020.4.6）
weixin_42926904的博客
04-13 2239
redash开发环境搭建Windows pycharm超详细（2020.4.6） 目录背景搭建环境服务端前端运行代码片列表表格内容居中、居左、居右创建自定义列表如何创建注脚KaTeX公式参考导出参考 redash开发环境搭建Windows pycharm超详细（2020.4.6） ) 目录 背景，服务端，前端，运行 背景 Redash是一款开源的BI系统，核心功能是添加数据源，然后进行数据的可视化...
【 书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建
最新发布
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 630
本篇笔记内容主要为 【书生·浦语大模型实战营】作业（六）：Lagent & AgentLego 智能体应用搭建智能体的作业 ，主要对智能体应用理论部分及具体搭建流程详细介绍，并分别进行实战应用及可视化展示，欢迎大家交流学习！
python学习笔记----循环语句（四）
取个名字太难了a的博客
04-28 985
随机数种子在生成随机数的过程中起到一个非常重要的作用。它是用于初始化随机数生成算法（伪随机数生成器）的初始值。随机数种子的作用可重复性：当你使用特定的种子值初始化随机数生成器时，即使在不同的运行环境或不同时间，生成的随机数序列都将是相同的。这对于调试和测试非常重要，因为它允许程序的行为在使用随机数时保持一致。控制随机性：种子提供了一种方法来控制随机数生成过程。通过改变种子，你可以获得不同的随机数序列，这对于模拟和其他需要随机输入的应用非常有用。
SpringBoot中实现发送邮件
m0_64289188的博客
04-30 516
当你添加了spring-boot-starter-mail依赖后，Spring Boot会自动配置JavaMailSender实例，并根据application.yml文件中的属性来配置这个实例。你可以直接在需要发送邮件的地方通过@Autowired注解将JavaMailSender实例注入到你的类中，然后使用它来发送邮件。：首先，需要在你的pom.xml文件中添加Spring Boot的邮件发送器依赖。，简化了在Spring Boot应用程序中发送电子邮件的设置过程。Spring Boot的。
python复习（三）
qq_43710593的博客
04-29 320
类是一种面向。
python 的celery 的crontab
09-02
Python的Celery库提供了一种方便的方式来调度定时任务，其中crontab是用于定义Cron表达式的类。Cron表达式是一种时间表达式，可用于指定任务在何时执行。在Celery中，可以使用crontab来设置定时任务的调度时间。 要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值