关闭

基于Python语言使用RabbitMQ消息队列(五)

标签: pythonRabbitMQexchange日志系统
227人阅读 评论(0) 收藏 举报
分类:

Topics

在前面教程中我们改进了日志系统,相比较于使用fanout类型交易所只能傻瓜一样地广播,我们用direct获得了选择性接收日志的能力。

虽然使用direct类型交易所改进了我们的系统,但它仍然有所限制——它不能做基于多重条件(multiple criteria)的路由。
在日志系统中我们可能不只是想要基于严重级别来订阅日志。也想要基于产生日志的来源。你可能从unix的系统日志工具(syslog unix tool)知道了这个概念,它就是基于严重级别 (info/warn/crit…)和设施(auth/cron/kern…)来路由日志的。
这会给我们很大灵活性——我们可能只想监听来自于‘cron’的严重错误(critical errors)和来自‘kern’的所有日志。
为了在我们的日志系统中实现这个功能我们需要了解更复杂的topic类型交易所。

Topic 交易所

发往topic类型交易所的消息不能只有一个独断的路由键(routing_key)——它必须是个词汇列表,词与词之间由‘.’来界定。可以是任何词汇,但通常它们指定了一些与消息相关联的特性。一些有效的路由键例子:”stock.usd.nyse”, “nyse.vmw”, “quick.orange.rabbit”,只要你想,在路由键里可以加尽可能多的词汇,上限是255 bytes。

绑定键必须是同样的形式。topic交易所背后的逻辑与direct类似——使用特定路由键发送的消息会传递给所有拥有匹配的绑定键的队列。但对于绑定键有两种重要的特殊情形:

“*” (star) 正好代替一个词.
“#” (hash) 能代替零个或多个词.

可以很容易地用一个例子解释:
这里写图片描述
在这个例子中我们发送的消息都是描述动物的。将要发送的消息的路由键包含三个词(两个点号)。第一个词描述的是敏捷性,第二个词是颜色,第三个词是种类:“<敏捷性>.<颜色>.<种类>”。

我们创建了三个绑定: Q1 绑定键是 “.orange.” , Q2 是 “..rabbit” 和 “lazy.#”.

这些绑定可以总结为:

  • Q1 对所有橙色(orange)动物感兴趣.
  • Q2想要知道关于rabbits的每件事情, 和关于lazy 类型动物的所有.

路由键设置为 “quick.orange.rabbit” 的消息会同时传送给两个队列。消息”lazy.orange.elephant” 也会传送给两个队列。”quick.orange.fox”会传送给第一个队列。”lazy.brown.fox”只会传送给第二个队列。”quick.brown.fox” 不匹配任何绑定,所以它会被忽略。

如果我们破坏约定,发送带有一个词或四个词的消息绑定,像”orange”或者”quick.orange.male.rabbit”,会发生什么呢?当然,由于这些消息不匹配任何绑定会被丢失。

另一方面即便 “lazy.orange.male.rabbit”, 有4个词,但它匹配最后一个绑定,所以它会被传送给第二个队列。

Topic 交易所

Topic 交易所很强大并且可以拥有其他类型交易所的的表现
当一个队列使用了“#”绑定键它就会接收所有消息,不管是什么路由键。此时就像是fanout类型交易所。 当在绑定中没有使用特殊字符 “*”
(star) 和 “#” (hash) topic交易所就跟direct交易所一样。

整合

我们将在日志系统中使用topic交易所。假设日志的路由键有两个词 “场所.严重级别”。

代码同之前的教程中几乎相同

emit_log_topic.py完整代码:

#!/usr/bin/env python
import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='topic_logs',
                         type='topic')

routing_key = sys.argv[1] if len(sys.argv) > 2 else 'anonymous.info'
message = ' '.join(sys.argv[2:]) or 'Hello World!'
channel.basic_publish(exchange='topic_logs',
                      routing_key=routing_key,
                      body=message)
print(" [x] Sent %r:%r" % (routing_key, message))
connection.close()

receive_log_topic.py完整代码:

#!/usr/bin/env python
import pika
import sys

connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()

channel.exchange_declare(exchange='topic_logs',
                         type='topic')

result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue

binding_keys = sys.argv[1:]
if not binding_keys:
    sys.stderr.write("Usage: %s [binding_key]...\n" % sys.argv[0])
    sys.exit(1)

for binding_key in binding_keys:
    channel.queue_bind(exchange='topic_logs',
                       queue=queue_name,
                       routing_key=binding_key)

print(' [*] Waiting for logs. To exit press CTRL+C')

def callback(ch, method, properties, body):
    print(" [x] %r:%r" % (method.routing_key, body))

channel.basic_consume(callback,
                      queue=queue_name,
                      no_ack=True)

channel.start_consuming()

我在Ubuntu终端开启了四个控制台,其中三个接收日志,日志的接收和发送情况如图:
接收所有日志
这里写图片描述

接收级别为critical日志
这里写图片描述

接收产生自kernel日志
这里写图片描述

日志的发送
这里写图片描述

0
0
查看评论

基于Python语言使用RabbitMQ消息队列(一)

介绍RabbitMQ 是一个消息中间人(broker): 它接收并且发送消息. 你可以把它想象成一个邮局: 当你把想要寄出的信放到邮箱里时, 你可以确定邮递员会把信送到收信人那里. 在这个比喻中, RabbitMQ 就是一个邮箱, 同时也是一个邮局和邮递员 . 和邮局的主要不同点在于Rabbi...
  • zhangfh1990
  • zhangfh1990
  • 2017-05-24 14:55
  • 358

RabbitMQ消息队列(五):Routing 消息路由

上篇文章中,我们构建了一个简单的日志系统。接下来,我们将丰富它:能够使用不同的severity来监听不同等级的log。比如我们希望只有error的log才保存到磁盘上。 1. Bindings绑定     上篇文章中我们是这么做的绑定: channel.queue_b...
  • anzhsoft2008
  • anzhsoft2008
  • 2014-02-21 20:04
  • 44557

基于Python语言使用RabbitMQ消息队列(四)

路由在上一节我们构建了一个简单的日志系统。我们能够广播消息给很多接收者。在本节我们将给它添加一些特性——我们让它只订阅所有消息的子集。例如,我们只把严重错误(critical error)导入到日志文件(存入磁盘空间),但仍然可以打印所有日志消息到控制台。绑定前面的例子中我们已经创建了绑定,像下面这...
  • zhangfh1990
  • zhangfh1990
  • 2017-05-26 07:44
  • 261

基于Python语言使用RabbitMQ消息队列(六)

远程过程调用(RPC)在第二节里我们学会了如何使用工作队列在多个工人中分布时间消耗性任务。 但如果我们想要运行存在于远程计算机上的方法并等待返回结果该如何去做呢?这就不太一样了,这种模式就是常说的远程过程调用(RPC)。 在本节我们会在本节我们会使用RabbitMQ创建一个RPC系统:一个客户端...
  • zhangfh1990
  • zhangfh1990
  • 2017-05-26 22:50
  • 224

基于Python语言使用RabbitMQ消息队列(二)

工作队列在第一节我们写了程序来向命名队列发送和接收消息 。在本节我们会创建一个工作队列(Work Queue)用来在多个工人(worker)中分发时间消耗型任务(time-consuming tasks)。工作队列(又叫做: Task Queues)背后的主体思想是 避免立刻去执行耗时任务并且等待它...
  • zhangfh1990
  • zhangfh1990
  • 2017-05-24 15:50
  • 353

基于Python语言使用RabbitMQ消息队列(三)

发布/订阅前面的教程中我们已经创建了一个工作队列。在一个工作队列背后的假设是每个任务恰好会传递给一个工人。在这一部分里我们会做一些完全不同的东西——我们会发送消息给多个消费者。这就是所谓的“发布/订阅”模式。为了解释这种模式,我们将会构建一个简单的日志系统。它包含两个程序——第一个产生日志消息,第二...
  • zhangfh1990
  • zhangfh1990
  • 2017-05-25 17:54
  • 855

RabbitMQ消息队列的总结

什么是消息队列? MQ全称为MessageQueue,消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如...
  • hr787753
  • hr787753
  • 2017-02-21 08:58
  • 453

总结消息队列RabbitMQ的基本用法

AMQP ,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。 AMQP的主要特征是面向消息、队列、路由(包括点...
  • not_give_up_
  • not_give_up_
  • 2017-03-30 10:39
  • 1125

C#.NET使用消息队列RabbitMQ

一、概念。 此处不对概念进行阐述,搜一下有很多,英语能力不错的,建议到官网去看。 RabbitMQ:http://www.rabbitmq.com/ 例子请在页面中搜索:Tutorials,别急着看例子,先完成安装与配置。 二、安装Erlang。     由于...
  • q18665401
  • q18665401
  • 2016-10-17 09:17
  • 894

开源稳定的消息队列 RabbitMQ

http://www.cnblogs.com/shanyou/archive/2012/10/27/2742979.html RabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统。他遵循Mozilla Public License开源协议。采用 Erlang 实现的工...
  • mituan1234567
  • mituan1234567
  • 2015-08-12 17:24
  • 624
    个人资料
    • 访问:9655次
    • 积分:360
    • 等级:
    • 排名:千里之外
    • 原创:13篇
    • 转载:5篇
    • 译文:14篇
    • 评论:3条