rabbitmq

收藏

145

64

rabbitmq编辑

MQ全称为Message Queue, 消息队列（MQ）是一种 应用程序对应用程序的通信方法。 应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消 息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如 远程过程调用的技术。排队指的是 应用程序通过 队列来通信。 队列的使用除去了接收和发送 应用程序同时执行的要求。其中较为成熟的MQ产品有IBM WEBSPHERE MQ。

中文名

消息队列

外文名

Message Queue

简    称

MQ

目录

1MQ特点

2使用场景

3含义

4安装

5客户端

6消费者端

7几个概念

8消息持久

9入门介绍

▪ 基本概念

▪ 应用实际

▪ 集群配置

1MQ特点编辑

MQ是消费-生产者模型的一个典型的代表，一端往 消息队列中不断写入消息，而另一端则可以读取或者订阅队列中的消息。MQ和 JMS类似，但不同的是JMS是SUN JAVA 消息中间件服务的一个标准和API定义，而MQ则是遵循了AMQP协议的具体实现和产品。

2使用场景编辑

在项目中，将一些无需即时返回且耗时的操作提取出来，进行了 异步处理，而这种异步处理的方式大大的节省了服务器的 请求响应时间，从而提高了系统的吞吐量。

3含义编辑

RabbitMQ是一个在AMQP基础上完整的，可复用的企业消息系统。他遵循 Mozilla Public License 开源协议。

4安装编辑

4.1)安装ERLANG

首先，因为RabbitMQ由ERLANG实现，下载ERLANG 源代码。

解压 源代码至ERLANG至文件夹$ERLANG

安装依赖包：

Yum install tk

Yum install tcl

Yum install unixODBC

进入$ERLANG.编译ERLANG

./configure –prefix=/usr/local/erlang

./make

./make install

并将erlang bin目录加至PATH

4.2)安装RabbitMQ

下载RabbitMQ ，解压至$RMQ。

启动RabbitMQ

./bin/rabbitmq-server

5客户端编辑

import com.rabbitmq.client.Channel;
　　import com.rabbitmq.client.Connection;
　　import com.rabbitmq.client.ConnectionFactory;

public class Send {
　　private final static String QUEUE_NAME = "hello";

public static void main(String[] args) throws.IOException{
　　ConnectionFactory factory = new ConnectionFactory();
　　factory.setHost("localhost");
　　Connection connection = factory.newConnection();
　　Channel channel = connection.createChannel();
　　channel.queueDeclare(QUEUE_NAME, false, false, false, null);
　　String message = "Hello World!";
　　channel.basicPublish("", QUEUE_NAME, null, message.getBytes());
　　System.out.println(" [x] Sent '" + message + "'");
　　channel.close();
　　connection.close();
　　}
　　}

6消费者端编辑

public class RabbitMQRecv {
　　private final static String QUEUE_NAME = "hello";

public static void main(String avg[]) throws.IOException,
　　java.lang.InterruptedException {
　　ConnectionFactory factory = new ConnectionFactory();
　　factory.setHost("localhost");
　　Connection connection = factory.newConnection();
　　Channel channel = connection.createChannel();
　　channel.queueDeclare(QUEUE_NAME, false, false, false, null);
　　System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
　　QueueingConsumer consumer = new QueueingConsumer(channel);
　　channel.basicConsume(QUEUE_NAME, true, consumer);
　　while (true) {
　　QueueingConsumer.Delivery delivery = consumer.nextDelivery();
　　String message = new String(delivery.getBody());
　　System.out.println(" [x] Received '" + message + "'");
　　}
　　}
　　}

7几个概念编辑

Exchange:交换机，决定了消息路由规则；

Queue:消息队列；

Channel:进行消息读写的通道；

Bind:绑定了Queue和Exchange，意即为符合什么样路由规则的消息，将会放置入哪一个 消息队列；

8消息持久编辑

1) 将交换机置为可持久；

2) 将通道置为可持久

3) 消息发送时设置可持久。

当我们“生产”了一条可持久化的消息，尝试中断MQ服务，启动消费者获取消息，消息依然能够恢复。相反，则抛出异常。

9入门介绍编辑

基本概念

RabbitMQ是流行的开源消息队列系统，用erlang语言开发。RabbitMQ是AMQP（高级消息队列协议）的标准实现。如果不熟悉AMQP，直接看RabbitMQ的文档会比较困难。不过它也只有几个关键概念，这里简单介绍。

RabbitMQ的结构图如下：

几个概念说明：

Broker：简单来说就是消息队列服务器实体。
　　Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。
　　Queue：消息队列载体，每个消息都会被投入到一个或多个队列。
　　Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。
　　Routing Key：路由关键字，exchange根据这个关键字进行消息投递。
　　vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。
　　producer：消息生产者，就是投递消息的程序。
　　consumer：消息消费者，就是接受消息的程序。
　　channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。

消息队列的使用过程大概如下：

（1）客户端连接到消息队列服务器，打开一个channel。
　　（2）客户端声明一个exchange，并设置相关属性。
　　（3）客户端声明一个queue，并设置相关属性。
　　（4）客户端使用routing key，在exchange和queue之间建立好绑定关系。
　　（5）客户端投递消息到exchange。

exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里。

exchange也有几个类型，完全根据key进行投递的叫做Direct交换机，例如，绑定时设置了routing key为”abc”，那么客户端提交的消息，只有设置了key为”abc”的才会投递到队列。对key进行模式匹配后进行投递的叫做Topic交换机，符号”#”匹配一个或多个词，符号”*”匹配正好一个词。例如”abc.#”匹配”abc.def.ghi”，”abc.*”只匹配”abc.def”。还有一种不需要key的，叫做Fanout交换机，它采取广播模式，一个消息进来时，投递到与该交换机绑定的所有队列。

RabbitMQ支持消息的持久化，也就是数据写在磁盘上，为了数据安全考虑，我想大多数用户都会选择持久化。消息队列持久化包括3个部分：
　　（1）exchange持久化，在声明时指定durable => 1
　　（2）queue持久化，在声明时指定durable => 1
　　（3）消息持久化，在投递时指定delivery_mode => 2（1是非持久化）

如果exchange和queue都是持久化的，那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化，一个非持久化，就不允许建立绑定。

应用实际

我使用Linux服务器（ubuntu 9.10 64位），安装RabbitMQ非常方便。

先运行如下命令安装erlang:

apt-get install erlang-nox

下载RabbitMQ的安装包，如下安装：

dpkg -i rabbitmq-server_2.6.1-1_all.deb

安装完后，使用

/etc/init.d/rabbitmq-server start|stop|restart

来启动、停止、重启rabbitmq。

在正式应用之前，我们先在RabbitMQ里创建一个vhost，加一个用户，并设置该用户的权限。

使用rabbitmqctl客户端工具，在根目录下创建”/pyhtest”这个vhost:

rabbitmqctl add_vhost /pyhtest

创建一个用户名”pyh”，设置密码”pyh1234″:

rabbitmqctl add_user pyh pyh1234

设置pyh用户对/pyhtest这个vhost拥有全部权限：

rabbitmqctl set_permissions -p /pyhtest pyh “.*” “.*” “.*”

后面三个”*”代表pyh用户拥有对/pyhtest的配置、写、读全部权限

设置好后，开始编程，我用Perl写一个消息投递程序（producer）：

#!/usr/bin/perl
　　use strict;
　　use Net::RabbitMQ;
　　use UUID::Tiny;

my $channel = 1000; # channel ID，可以随意指定，只要不冲突
　　my $queuename = “pyh_queue”; # 队列名
　　my $exchange = “pyh_exchange”; # 交换机名
　　my $routing_key = “test”; # routing key

my $mq = Net::RabbitMQ->new(); # 创建一个RabbitMQ对象

$mq->connect(“localhost”, { vhost => “/pyhtest”, user => “pyh”, password => “pyh1234″ }); # 建立连接
　　$mq->channel_open($channel); # 打开一个channel
　　$mq->exchange_declare($channel, $exchange, {durable => 1}); # 声明一个持久化的交换机
　　$mq->queue_declare($channel, $queuename, {durable => 1}); # 声明一个持久化的队列
　　$mq->queue_bind($channel, $queuename, $exchange, $routing_key); # 使用routing key在交换机和队列间建立绑定

for (my $i=0;$i<10000000;$i++) { # 循环1000万次
　　my $string = create_UUID_as_string(UUID_V1); # 产生一条UUID作为消息主体
　　$mq->publish($channel, $routing_key, $string, { exchange => $exchange }, { delivery_mode => 2 }); # 将消息结合key以持久化模式投递到交换机
　　}

$mq->disconnect(); # 断开连接

消息接受程序（consumer）大概如下：

#!/usr/bin/perl
　　use strict;
　　use Net::RabbitMQ;

my $channel = 1001;
　　my $queuename = “pyh_queue”;
　　my $mq = Net::RabbitMQ->new();

$mq->connect(“localhost”, { vhost=>”/pyhtest”, user => “pyh”, password => “pyh1234″ });
　　$mq->channel_open($channel);

while (1) {
　　my $hashref = $mq->get($channel, $queuename);
　　last unless defined $hashref;
　　print $hashref->{message_count}, “: “, $hashref->{body},”\n”;
　　}

$mq->disconnect();

consumer连接后只要指定队列就可获取到消息。

上述程序共投递1000万条消息，每条消息36字节（UUID），打开持久化，共耗时17分多钟（包括产生UUID的时间），每秒投递消息约9500条。测试机器是8G内存、8核志强CPU。

投递完后，在/var/lib/rabbitmq/mnesia/rabbit@${hostname}/msg_store_persistent目录，产生2G多的持久化消息数据。在运行consumer程序后，这些数据都会消失，因为消息已经被消费了。

集群配置

单机环境下的集群配置：

首先启动两个实例，rab和rab2，端口分别为9991和9992

RABBITMQ_NODE_PORT=9991 RABBITMQ_NODENAME=rab rabbitmq-server -detached

RABBITMQ_NODE_PORT=9992 RABBITMQ_NODENAME=rab2 rabbitmq-server -detached

二：停止rab2，并将其加入cluster集群中

rabbitmqctl -n rab2 stop_app

rabbitmqctl -n rab2 join_cluster rab@rab（@rab，这里的rab表示主机名）

重新启动rab2

RABBITMQ_NODE_PORT=9992 RABBITMQ_NODENAME=rab2 rabbitmq-server -detached

查看集群的状态

rabbitmqctl cluster_status -n rab

显示如下信息表示集群配置正常：

Cluster status of node rab@rab ...
　　[{nodes,[{disc,[rab2@rab,rab@rab]}]},
　　{running_nodes,[rab@rab]},
　　{partitions,[]}]
　　...done.