Python 使用 Beanstalkd 做异步任务处理

最新推荐文章于 2021-09-11 13:12:28 发布

python-花猫

最新推荐文章于 2021-09-11 13:12:28 发布

阅读量495

点赞数

分类专栏： python 文章标签： python 程序员

本文链接：https://blog.csdn.net/python_doris/article/details/100085991

版权

本文介绍了如何使用Beanstalkd作为消息队列服务，结合Python装饰器实现异步任务处理。通过Subscriber、JobQueue、Putter和Worker四个组件，将函数注册、任务提交、任务入队和异步执行详细阐述。解决问题的关键在于利用Python装饰器机制，确保Worker进程中也能获取到Subscriber的函数对应关系。

摘要由CSDN通过智能技术生成

使用 Beanstalkd 作为消息队列服务，然后结合 Python 的装饰器语法实现一个简单的异步任务处理工具.

最终效果
定义任务:

from xxxxx.job_queue import JobQueue

queue = JobQueue()@queue.task('task_tube_one')def task_one(arg1, arg2, arg3):
  # do task

提交任务:

task_one.put(arg1="a", arg2="b", arg3="c")

然后就可以由后台的 work 线程去执行这些任务了。

实现过程
了解 Beanstalk Server

Beanstalk is a simple, fast work queue.
https://github.com/kr/beanstalkd

Beanstalk 是一个 C 语言实现的消息队列服务。它提供了通用的接口，最初设计的目的是通过异步运行耗时的任务来减少大量Web应用程序中的页面延迟。针对不同的语言，有不同的 Beanstalkd Client 实现。 Python 里就有 beanstalkc 等。我就是利用 beanstalkc 来作为与 beanstalkd server 通信的工具。

1、任务异步执行实现原理

beanstalkd 只能进行字符串的任务调度。为了让程序支持提交函数和参数，然后由woker执行函数并携带参数。需要一个中间层来将函数与传递的参数注册。

实现主要包括3个部分:

Subscriber: 负责将函数注册到 beanstalk
的一个tube上,实现很简单，注册函数名和函数本身的对应关系。(也就意味着同一个分组(tube)下不能有相同函数名存在)。数据存储在类变量里。

class Subscriber(object):
    FUN_MAP = defaultdict(dict)    def __init__(self, func, tube):
        logger.info('register func:{} to tube:{}.'.format(func.__nam