rabbitmq简介
rabbitmq是一个消息队列,在生产者、消费者模式中充当broker的角色。它支持多种模式的消息转发策略,支持消息持久化,消息确认、重发,消息订阅等功能。在部署方面,rabit支持集群模式,可实现横向扩展,增加吞吐量。同时在集群上支持高可用策略,可对消息在不同的节点上做备份,防止单点故障导致消息丢失。
rabit基本概念
connection:每个客户端与rabbitmq建立一个tcp长链接,所有的交互都在该连接上进行。
channnel:channel实现了tcp连接的复用,可以在一个connection上建立多个channel
exchange---routing_key---queue:生产者将消息发送给exchange,并指定routing_key,queue通过routing_key与exchage绑定,exchange收到消息后根据routing_key以及自身的转发规则,将消息放入对应的队列。
exchange三种消息转发模式
direct:将消息发送各绑定的routing_key与传入routing_key完全相同的queue
fanout:将消息发送给所有绑定在该exchange上的queue,忽略routing_key
topic:消息一般会有一个层级结构的归属信息,如“order.normal.created” 用该字符串作为消息的routing_key时,表示该消息是一个订单类的,是一个普通订单,是一个订单创建完成的消息。topic转发策略让queue可以在不同层级订阅消息,如定义个order_queue,设置其与exchange的绑定的routing_key为order.#,则所有的oreder类型的消息都会转发到该queue。
消息持久化
消息的持久化需要设置两个地方:1、存储消息的载体----queue设置为持久化(declare queue时设置durable=True,默认为Ture)2、设置消息本身为需要持久化(在push 消息时,设置property的deliver_mode=2)
消息订阅
channel.basic_consume(callback,queue='hello',no_ack = False,)
一个channel可订阅一个queue。
消息推送
queue会循环将queue中的消息发给订阅了该queue的channel(每次选一个),如果当前channel的处理能力到达上限(prefetch_count, prefetch_size决定),则跳过。
消息确认与重发
在设置消费者时,传入no_ack=False,表示处理完消息后不会不发送一个ack(有点绕,同java的autoAck=Ture)。
当消费者收到一个消息后,如果不发送ack:
channel没有断开,则queue认为对应的消息仍在处理,该消息处于queue的Unacked队列中,如果channel的prefetch_count设置为1则不会再收到消息,即使处理函数已经结束。
如果channel断开,则queue认为处理出错,将消息重新放入queue。
消息的确认类型:basic_recover(重新发送到一个指定的队列)、basic_nack(一次性拒绝多个消息)、basic_ack(确认一个消息),basic_reject(拒绝一个消息).....(详见:channel类的源码)
简单的例子
import time
import pika
conn = pika.BlockingConnection(pika.ConnectionParameters('132.232.191.131', 5672))
channel = conn.channel() # 创建一个channel
channel.queue_declare('hello')
channel.basic_qos(prefetch_count=1) # 声明channel的处理能力,prefetch_count=1表示同时只能处理一个
# 用于处理消息的回掉函数
def callback(ch, method, properties, body):
print(" [x] message recived: {}".format(body))
time.sleep(2)
ch.basic_ack(delivery_tag = method.delivery_tag) # 确认消息,否则queue认为当前channel还在处理该消息,而之前设置的
# 该channel的处理能力是1,这样就不会在收到消息啦
channel.basic_consume(callback,
queue='hello',
no_ack = False,
)
print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming() # 开始接收推送的消息