使用 Celery 实现 Topic 模式的消息分发

使用 Celery 实现 Topic 模式的消息分发

摘要

Topic 模式是分布式消息队列的一个重要的应用场景，尤其是多个后台项目依次触发相应事件的时候，Topic 模式拥有无与伦比的优势。但通常情况下，我们直接使用 amqp 来实现这样的模式。经过测试，Celery 也可以完成相应的工作，但对项目结构有一定的要求。这篇文章提供了一套详细的实现方案。

生产者

生产者在配置的时候有以下几个重点：

• 一个使用topic模式的交换机
• 一个空队列，用来让 Celery 自动创建交换机。如果没有这个空队列，Celery 不会自动创建，我们就必须手动创建或者确保消费者在生产者之前启动。
• 一个固定的槽函数，所有事件发送到该函数下，Worker 固定从该槽函数接收事件，否则 Celery 无法处理。

示例项目结构：

topic_events
  __init__.py
  config.py
  task.py

# __init__.py
from celery import Celery

celery = Celery()
# 从 config.py 加载配置
celery.config_from_object('topic_events.config')

# config.py
from kombu import Exchange, Queue

# 交换机，类型设置为topic
exchange_topic_events = Exchange(name='topic_events', type='topic')

BROKER_URL = 'amqp://{username}:{password}@{host}: