Python操作RabbitMQ初体验

最新推荐文章于 2024-05-27 10:40:06 发布

YOYO__2018

最新推荐文章于 2024-05-27 10:40:06 发布

阅读量7.4k

点赞数 1

分类专栏：爬虫

爬虫专栏收录该内容

38 篇文章 24 订阅

订阅专栏

Python操作RabbitMQ初体验（一）

2015-11-24来源：python人气：939

/*学院显示页左上*/ var cpro_id = "u2659916";

由于想用Python实现一套分布式系统，来管理和监控CDN的内容与运行状态，误打误撞认识了RabbitMQ，推荐的人很多，如余锋《我为什么要选择RabbitMQ》等等。

在MQ这个词汇映入眼帘的时候，我花了好几个小时去阅读什么是MQ，即Message Queue(消息队列）。顾名思义，消息队列，装满消息的队列，队列，数据结构名词，具备先进先出特性的一种数据结构。消息队列无非是用来传递消息的而已，那么其意义何在，应用场景又在哪里，具备什么特性，及其独特优势是什么，为什么要用，这些都是浮现在我脑海中的一连串问题。

经过一大串搜索，终于肤浅的理解消息队列是应用对应用的信息传递的通信方式。比如需要分析多台服务器的日志，完全可以每台服务器都用一个进程往一个MySQL 数据库的表里面写入数据，即所需要的信息，然后再写几个进程，读取表里数据，进行数据分析不是挺好，不过很快，这种设计的丑陋之处就显现出来了…… 你想要多个程序从一个队列当中取数据来处理？没问题，我们硬编码程序的个数好了……什么？还要能够允许程序动态地增加和减少的时候动态进行压力分配？这是很流行的《RabbitMQ+Python入门经典兔子和兔子窝》里面的例子。想想也是，当我的CDN传输来一大堆数据的时候，数据的分发，处理，所有的一切都会是问题。但是其实还是没明白，Rabbit到底是怎么样实现这些东西的。

概念上说，RabbitMQ是AMPQ（高级消息协议队列）的标准实现，据说不熟悉AMQP，会看不懂RabbitMQ的文档。但是也只能建大的理解关键概念了。整个RabbitMQ的实现原理模型见下图，其实就是一个带路由任务分发队列的生产者与消费者模型。如图所示，即生产者生产出相应的信息，发送给路由器，路由器根据信息中的关键Key信息，将信息分发到不同的消息队列中，再由消费者去不同的消息队列中读取数据的过程。

Broker：简单来说就是消息队列服务器实体。
　　Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。
　　Queue：消息队列载体，每个消息都会被投入到一个或多个队列。
　　Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。
　　Routing Key：路由关键字，exchange根据这个关键字进行消息投递。
　　vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。
　　PRoducer：消息生产者，就是投递消息的程序。
　　consumer：消息消费者，就是接受消息的程序。
　　channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。

消息队列的使用过程大概如下：

（1）客户端连接到消息队列服务器，打开一个channel。
　　（2）客户端声明一个exchange，并设置相关属性。
　　（3）客户端声明一个queue，并设置相关属性。
　　（4）客户端使用routing key，在exchange和queue之间建立好绑定关系。
　　（5）客户端投递消息到exchange。

了解了RabbitMQ大概流程与优势之后，我开始在自己的Fedora上进行RabbitMQ的试用。

根据RabbitMQ官网介绍，安装需要从此处下载 http://www.rabbitmq.com/download.html

点击可以下载各个版本的binary包，我下载了rabbitmq-server-3.3.0-1.noarch.rpm

进入下载路径，/home/sun5495/Downloads/

[sun5495@localhost Downloads]# sudo chmod 777 rabbitmq-server-3.3.0-1.noarch.rpm

更改可执行文件权限，增加执行权限。

然后执行./rabbitmq-server-3.3.0-1.noarch.rpm,运行报错，无法安装。

原来是现需要安装Erlang才可以，试用此命令 yum install erlang 搞定。

然后使用root用户执行

rpm --import http://www.rabbitmq.com/rabbitmq-signing-key-public.asc 

yum install rabbitmq-server-3.3.0-1.noarch.rpm

安装成功。

为了设置RBMQ开机启动，使用管理员账户执行

chkconfig rabbitmq-server on

开启和关闭server使用命令

/sbin/service rabbitmq-server stop/start

结果开启的时候报错如下
Starting rabbitmq-server (via systemctl): Job for rabbitmq-server.service failed. See ‘systemctl status rabbitmq-server.service’ and ‘journalctl -xn’ for details. [FAILED]

使用journalctl -xn命令打开日志，查看了下貌似是Erlang的某个文件拒绝访问，然后还提出了一大堆建议。

尝试一下

grep beam.smp /var/log/audit/audit.log | audit2allow -M mypol

semodule -i mypol.pp

/sbin/service rabbitmq-server start

居然奇迹般成功。好吧，待我一会回来研究刚才做了什么。

既然RabbitMQ安装也运行成功了，那么我就来尝尝RabbitMQ的鲜吧。就从官网上的例子一步一笔来做好了。

由于我使用的是Python，那么就需要安装一些支持RabbitMQ的库来进行操作，其中包括

py-amqplib,txAMQP,pika这几种，按照官网的tutorial，我也安装了pika。

pip install pika

从最简单的收发消息开始。即一端发送消息，一端接收消息。

发送方即生产者，首先要创建与RabbitMQ服务器的连接，

#!/usr/bin/env python
import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
               'localhost'))
channel = connection.channel()

此处服务器连接本地localhost，也可以指定ip或者主机名。

其次发送方需要声明一个队列，比如命名为sayhello

channel.queue_declare(queue='sayhello')

此时我们就可以发送消息了。由于第一个小案例比较简单，没有经过路由器，因此发送消息时，指定路由为空即可。

channel.basic_publish(exchange='',
                        routing_key='hello',
                                    body='hello world')
print "Sent ‘hello world'"

最后关闭连接即可。

connection.close()

接收方即消费者，需要从队列上获取数据，因此也需要绑定一个队列

channel.queue_declare(queue='hello')

同时，由于接收方的工作方式是基于队列的消息执行一个回调函数，当收到消息时，Pika就会执行相应的回调函数，因此我们需要定义此函数。

def callback(ch, method, properties, body):
    print " [x] Received %r" % (body,)

接下来我们需要初始化这个消费者，并对消费者进行启动。

channel.basic_consume(callback,
                      queue='hello',
                      no_ack=True)
print ' [*] Waiting for messages. To exit press CTRL+C'
channel.start_consuming()

OK执行成功。

接下来就逐步的深入体验RabbitMQ的独特魅力。

/*学院显示页内容下*/ var cpro_id = "u2659928";