Celery入门与Flower监控

最新推荐文章于 2024-07-09 00:33:38 发布
最新推荐文章于 2024-07-09 00:33:38 发布
阅读量8k 收藏 15
点赞数 18
分类专栏： Celery 文章标签： python 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010784605/article/details/119042393
版权

Celery 的应用场景

  • Web应用
  1. 用户发送一个需要较长时间处理的请求；
  2. 传统思想会等待请求的结果（即常见到的转圈圈）；
  3. 为了避免用户一直等待响应结果，在服务端可以通过异步的方式处理需要花费较长时间请求（例如调用外部服务API类似叮叮通知，邮件系统等）；
  4. 服务后端创建相应的任务（创建任务是很快速的过程，执行具体任务才是真正耗时的操作），并将任务ID返回（响应）给用户；
  5. 在前端看来，此次请求已经成功了，但是具体邮件是不是发成功了，没有直接给出结果，如果想看状态或结果，只需要拿到返回的任务ID再发送请求即可；
  6. 用户可主动通过ID查看任务的执行进度，或通过前端轮询查看任务处理进度，常见的进度条就可以通过轮询实现；
  7. 如果用户不关心邮件发送的结果，就直接该干嘛干嘛去了，不用再关心；
  8. 如果需要动态监控任务状态及结果，从后台服务端看，任务结束后需要调用回调函数，将任务处理后的结果及数据进行转存或推送。
  • 定时任务

有一些业务场景可能需要做定时任务，如定时发送邮件等

Celery的几个组件

  • 任务
    即执行异步工作的载体，可以接受参数并执行异步工作，通过ID监控执行状态
  • 中间件（broker）或消息队列（massage queue）
    连接了异步任务的创建者和任务的执行者，通常任务的创建者创建较快，但是执行者并不能相同节奏的完成，即需要一个管道，任务生产者将任务放入其中供执行者从中领取
  • worker
    相当于一个劳动力或者雇工，给他一个消息队列，就能执行队列中交给的任务

Celery 架构图

在这里插入图片描述

从最简单的应用开始

（安装环境以linux或macOS为例）

  • 安装虚拟环境（可以参考网络其他教程，此处仅列出大致命令）
$ pip3 install virtualenvwrapper -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host mirrors.aliyun.com
$ mkdir ~/.virtualenv
$ vim ~/.brashrc
# 在文件末尾追加
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh

$ source ~/.bashrc
$ mkvirtualenv celeryVirtualEnv
$ workon customized_upload_env
$ pip install redis==3.5.3  # 安装redis客户端
$ pip install celery==5.1.2  # 安装celery
  • 安装redis服务
    一般redis服务端安装在本机环境中，虚拟环境安装客户端
    Macbook 使用brew安装redis
    # brew install redis
    # redis-server
    # redis-cli 能够正常进入redis命令行即可
  • 编写测试程序
$ cat tasks.py
from celery import Celery

APP_NAME = 'main'
BROKER_NAME = 'redis://127.0.0.1:6379/0'
BACKEND = 'redis://127.0.0.1:6379/1'
app = Celery(name=APP_NAME, broker=BROKER_NAME,backend=BACKEND)

@app.task
def reverse(my_str):  # 异步任务的功能是将传递的字符串反转
    return my_str[::-1]
    
$ cat main.py
from tasks import reverse

response = reverse.delay("hello world")
print(response)
print(response.get())
  • 启动celery服务
$ celery -A tasks worker --loglevel=info


celery@192.168.0.104 v5.1.2 (sun-harmonics)

Darwin-20.5.0-x86_64-i386-64bit 2021-07-25 09:51:18

[config]
.> app:         __main__:0x7fa82cf043d0
.> transport:   redis://127.0.0.1:6379/0
.> results:     redis://127.0.0.1:6379/1
.> concurrency: 4 (prefork)
.> task events: OFF (enable -E to monitor tasks in this worker)

[queues]
.> celery           exchange=celery(direct) key=celery


[tasks]
  . tasks.reverse

[2021-07-25 09:51:18,496: INFO/MainProcess] Connected to redis://127.0.0.1:6379/0
[2021-07-25 09:51:18,505: INFO/MainProcess] mingle: searching for neighbors
[2021-07-25 09:51:19,531: INFO/MainProcess] mingle: all alone
[2021-07-25 09:51:19,554: INFO/MainProcess] celery@192.168.0.104 ready.
  • 测试脚本
    打开一个新的终端，运行命令 python main.py，在celery 服务端看到如下信息：
[2021-07-25 09:52:15,150: INFO/MainProcess] Task tasks.reverse[b7942a50-8813-4d38-a647-1182c6a300db] received
[2021-07-25 09:52:15,169: INFO/ForkPoolWorker-2] Task tasks.reverse[b7942a50-8813-4d38-a647-1182c6a300db] succeeded in 0.013528297000000578s: 'dlrow olleh'
  • 脚本运行终端输出
    打印的第一个值是任务ID，打印的第二个值是任务执行成功后return的结果
$ python main.py
b7942a50-8813-4d38-a647-1182c6a300db
dlrow olleh

项目应用

celery应用在项目中，通常情况较复杂，涉及到多个异步任务的执行，任务的调度，回调函数，日志，重试机制等

使用配置文件

生产项目一般会将配置信息统一放在配置文件中，以便在配置发生变化的时候能够减少代码的修改

celery_conf.py (celery 4.0版本之后配置项都使用小写代替)

 broker_url = 'redis://127.0.0.1:6379/0'
 result_backend = 'redis://127.0.0.1:6379/1'
 task_serializer = 'json'
 result_serializer = 'json'
 accept_content = ['json']
 timezone = 'Asia/Shanghai'

 task_queues = {
    'my_reverse_queue':{
        'exchange':'reverse_str',
        'exchange_type': 'direct',
        'routing_key': 'reverse_str'
    },
}

task_routes = ({
    'tasks.reverse':{
        'queue': 'my_reverse_queue',
        'routing_key': 'reverse_str',
        'serializer':'json',
    }
},)

修改tasks.py

from celery import Celery
import celery_conf

APP_NAME = 'tasks'
# BROKER_NAME = 'redis://127.0.0.1:6379/0'
# BACKEND = 'redis://127.0.0.1:6379/1'
app = Celery(name=APP_NAME)
app.config_from_object(celery_conf)

@app.task
def reverse(my_str):
    return my_str[::-1]

启动命令修改

celery -A tasks --logleval=info -Q my_reverse_queue

在这里插入图片描述
创建日志目录

tasks 同级目录创建 logs 文件夹，修改服务启动命令
celery -A tasks worker --loglevel=info -Q my_reverse_queue --pidfile=logs/%n.pid --logfile=logs/%n%I.log
运行服务会自动在logs中创建.pid文件及worker log文件，运行python main.py 可以在其中某个日志文件中看到任务的执行结果

关于命令中的%h %I %n 请看如下(内容来自官方文档，笔者认为入门不必特别在意这些)

# Node name replacements
	%p: Full node name.
	%h: Hostname, including domain name.
	%n: Hostname only.
	%d: Domain name only.
	%i: Prefork pool process index or 0 if MainProcess.
%I: Prefork pool process index with separator.

  For example, if the current hostname is george@foo.example.com then these will expand to:
	--logfile=%p.log -> george@foo.example.com.log
	--logfile=%h.log -> foo.example.com.log
	--logfile=%n.log -> george.log
	--logfile=%d.log -> example.com.log

# Prefork pool process index

The prefork pool process index specifiers will expand into a different filename depending on the process that’ll eventually need to open the file.
This can be used to specify one log file per child process.
Note that the numbers will stay within the process limit even if processes exit or if autoscale/maxtasksperchild/time limits are used. That is, the number is the process index not the process count or pid.

%i - Pool process index or 0 if MainProcess.

  Where -n worker1@example.com -c2 -f %n-%i.log will result in three log files:
	worker1-0.log (main process)
	worker1-1.log (pool process 1)
	worker1-2.log (pool process 2)

%I - Pool process index with separator.

  Where -n worker1@example.com -c2 -f %n%I.log will result in three log files:
	worker1.log (main process)
	worker1-1.log (pool process 1)
	worker1-2.log (pool process 2)

编写启动脚本

新建文件 start.sh,内容如下

export AUTHLIB_INSECURE_TRANSPORT=true
celery -A tasks worker --loglevel=info -Q my_reverse_queue --pidfile=logs/%n.pid --logfile=logs/%n%I.log -D
# -D 表示后台运行

使用flower web 监控任务执行

通过日志可以看到任务执行的结果，而图形界面是对新手非常友好的。flower 就是这样一个可以很好与celery集成的监控任务执行情况的插件

安装flower
pip install flower==1.0.0
在启动脚本中追加flower启动命令
nohup celery -A tasks flower --address=127.0.0.1 --port=5566 > logs/flower.log 2>&1 &
nohup 表示后台运行
flower日志文件会存储在logs/flower.log文件中
启动服务
sh start.sh
浏览器访问 http://127.0.0.1:5566/
运行 python3 main.py,在flower的界面 Task 栏查看任务的状态和执行结果

Tips

  1. celery 服务启动后，调试过程如果修改了代码，需要停止之前的服务，通过执行以下命令ps -ef | grep celery | grep -v 'grep' | awk '{print $2}' |xargs kill -9 终止celery服务
    建议进入redis-cli， 执行FLUSHDB命令清除;
  2. 使用task_entry.get()时如果task发生异常，.get()也会抛出异常，为了避免这种情况，可以增加参数.get(propagate=False)，然后通过task_entry.traceback 查看异常;
  3. 多任务的情况，并行情况可以通过在配置文件中新增queue和routing，在启动脚本中另增加一条启动命令（指定对应的queue）实现。串行的情况涉及到任务链式操作，可查阅文档

Link

Github source code
Celery 官方文档
Flower 官方文档

qiguanyu
关注
专栏目录
Python Flower库：分布式任务管理与监控
08-25 153
Flower 是一个用于监控和管理 Celery 分布式任务队列的强大工具。它提供了一个直观的 Web 界面，使开发者能够实时查看任务的执行状态、跟踪任务的详细信息、管理 Celery worker，以及分析任务的执行趋势。通过 Flower，用户可以轻松地监控系统的健康状况，排查问题，并优化任务队列的性能。无论是对于小型项目还是复杂的分布式系统，Flower 都是管理和监控 Celery 任务的理想选择。
Celery的工具flower安装和使用
热门推荐
生有涯，知无涯
06-16 1万+
Celery提供了一个工具flower，将各个任务的执行情况、各个worker的健康状态进行监控并以可视化的方式展现。 1.安装flower: pip install flower 2. 启动flower 例如启动项目工程下面celery_tasks目录的main.py 异步任务启动函数 flower -A celery_tasks.main --port=5555 3. 进入http://...
Flower: 监控 Celery 集群的利器
gitblog_00010的博客
03-18 593
Flower: 监控 Celery 集群的利器 项目简介 Flower 是一个用于监控和管理 Celery 集群的 Web 应用程序。它提供了实时的任务跟踪、任务调度、日志查看等功能，并支持多种持久化存储方式。 功能特性 实时任务跟踪：Flower 可以实时显示任务的执行状态，包括正在进行的任务、已成功完成的任务、失败的任务等。 任务调度：Flower 提供了一个简单的 Web 界面来调度任务...
Python-此Django扩展使您能够监视Celery任务和workers
08-10
此Django扩展使您能够监视Celery任务和workers
推荐项目：Flower - 实时监控与管理Celery集群的利器
gitblog_00035的博客
05-09 392
推荐项目：Flower - 实时监控与管理Celery集群的利器 项目地址:https://gitcode.com/mher/flower 1、项目介绍 Flower是一款开源的Web应用程序，专为监控和管理Celery任务队列集群而设计。它提供了实时的Celery工作节点状态信息以及任务的状态跟踪，帮助开发者深入了解并优化分布式任务执行的效率。 通过Flower，你可以轻松查看任务进度、历史记...
celery任务状态监控
mr~li的博客
05-20 9983
celery是python里常用的一个异步任务队列，使用celery可以大大简化搭建任务队列的工作。实际使用中可能会需要监控一些任务或者定时任务的运行状态。 这里就讲一下celery的任务状态监控相关的方法。 单独使用celery命令格式为 celery -A [proj] [cmd] 在django下使用时，用manage.py启动时则不需要-A参数，命令格式为 python manage....
celery 消息队列与定时任务
面向未来的历史
01-18 4689
在进行定时获取代理ip， 黑名单ip，以及进行ip校验，相关信息及特征获取时，需要用到定时任务，常见的使用 linux 的crontab 来实现定时任务。但是为了在使用django，保持设计的一致性，就采用 celery 消息队列的定时任务来做。开发环境： centos 7 python3.5 Name: celery Version: 4.0.2 mongodb, django d都是最
探索 Flower: 实时微服务监控与管理的利器
gitblog_00002的博客
03-22 462
探索 Flower: 实时微服务监控与管理的利器 项目地址:https://gitcode.com/adap/flower Flower 是一个强大的开源工具，专为监控和管理分布式任务而设计，特别是在Celery任务队列中发挥着重要作用。它提供了一个实时的Web界面，让你可以查看、管理和控制你的Celery集群，从而提升微服务架构中的可见性和控制力。 技术概览 Flower 主要基于Python开...
任务队列神器：Celery 入门到进阶指南
03-23 1200
1.什么是celery celery是一个简单，灵活、可靠的分布式任务执行框架，可以支持大量任务的并发执行。celery采用典型生产者和消费者模型。生产者提交任务到任务队列，众多消费者从任务队列中取任务执行。 1.1 celery架构 Celery由以下三部分构成：消息中间件(Broker)、任务执行单元Worker、结果存储(Backend) 任务调用提交任务执行请求给Broker队列 如果是异步任务，worker会立即从队列中取出任务并执行，执行结果保存在Backend中
【Celery入门至精通】：分布式任务队列的初体验与深层次应用
![python库文件学习之celery...Celery是一个强大的异步任务队列/作业队列，基于分布式消息传递。它是用Python编写的，并使用消息代理（Broker）来处理任务，并行执行任务，以提高效率和扩展性。在本章节中，我们将了解C
Python-flower一个对Celery集群进行实时监控和提供web管理界面的工具
08-10
flower：一个对 Celery 集群进行实时监控和提供 web 管理界面的工具
celery学习笔记（二）——celery快速入门
一只路过的小码农cxy
01-09 1460
在应用中使用celery 项目结构： proj/__init__.py /celery.py /tasks.py proj/celery.py from __future__ import absolute_import, unicode_literals from celery import Celery app = Celery('proj', b...
构建高效Python分布式系统【Celery与RabbitMQ的结合实践与优化技巧】
最新发布
mrdeam的博客
07-09 582
Celery：Celery是一个流行的Python分布式任务队列，它可以帮助你将任务异步执行，并且可以轻松地扩展到多台机器上。它支持任务调度、任务结果存储、任务重试等功能，使得处理异步任务变得更加简单。RabbitMQ：RabbitMQ是一个开源的消息代理，它实现了高级消息队列协议（AMQP），可以作为消息的中间件来传递消息。它具有高度可靠性、灵活性和可扩展性，使得不同系统之间的通信变得更加可靠和高效。在本文中，我们深入探讨了如何利用Celery和RabbitMQ构建Python中的分布式系统。
浅谈工作中celery与Redis遇到的一些问题
weixin_30840573的博客
04-28 2258
celery的内存泄漏？ 　　总结： celery执行完任务不释放内存与原worker一直没有被销毁有关，因此CELERYD_MAX_TASKS_PER_CHILD可以适当配置小点，而任务并发数与CELERYD_CONCURRENCY配置项有关， 　　每增加一个worker必然增加内存消耗，同时也影响到一个worker何时被销毁，因为celery是均匀调度任务至每个wo...
Flower Celery 监控工具的简单使用
python的神奇之旅
04-13 618
https://blog.csdn.net/weixin_42174361/article/details/83154459
Celery的Web监控工具Flower
李习的博客
05-26 514
Flower官网Flower是一个WEB端的监控工具，可以监控Celery的消费者。但是WEB端的监控对于监控系统来说，有个屁用，有用的是监控+告警。还好Flower不是全部是垃圾，它提供的Prometheus的监控端点。然而。。。。。如何保证Flower的高空用的。。。。。。估计要自己手动搭建。Flower提供了一个拿来就用的监控Celery的工具，简单，但是不够全面。
celery flower使用技巧
hhd1988的专栏
09-23 7822
1、flower简介 flower是基于web的监控和管理Celery的工具，和任务队列是隔离的，flower的运行并不会影响到任务队列的真正执行。flower作为celery后台任务的管理工具，将各个任务的执行情况、各个worker的健康状态进行实时监控并以可视化的方式展现。 2、安装 pip3 install flower 3、使用 celery以redis作为broker celery flower --address=0.0.0.0 --port=5555 --broker=redis:
Celery进阶，多队列，Flower监控, Supervistor进程管理
紫一的博客
04-16 1866
本篇内容全为干货，包括Celery多队列，异步任务失败重试，任务执行过程的监控，以及生产环境下在服务器上如何管理以及维护好每一个队列等等。 1.celery分布式队列，优先级队列，任务失败重试 这里简单的说一下多队列的使用场景，比如说你现在的系统中一共有两个异步任务，其中任务A花费时间大约是5秒，任务B花费时间大约是0.5秒。任务B的重要性比任务任务A要高很多很多。系统每次都会往队列中放10个任务A和一个任务B。在并发量很大的情况下就会因为任务A花费事假较长从而造成队列阻塞，导致后边特别多的任务B需要较.
Celery如何使用Flower监控批处理脚本
03-08
Celery可以通过安装Flower来监控批处理脚本。首先，需要在Celery的配置文件中添加Flower的配置信息，然后启动Flower服务。在浏览器中访问Flower的地址，即可查看Celery任务的状态和统计信息。具体的使用方法可以参考Celery和Flower的官方文档。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值