[Erlang 0090] RabbitMQ 集群: Mirrored Queue

 之前提到过在集群环境中,队列只有元数据会在集群的所有节点同步,但是队列中的数据只会存在于一个节点;这不免让人失望:数据没有冗余容易丢数据甚至在durable的情况下,如果所在的节点当掉就要等待节点恢复.那么是不是有消息冗余的解决方案呢?是的,RabbitMQ自2.6.0开始就开始支持镜像队列(Mirrored Queue).消息会在节点之间复制,和其它的主从设计一样,它也有master和slave的概念;一旦某个节点当掉,会在其余的节点中选举一个slave作为master.要注意Mirrored Queue 也不是银弹,后面会提到它的局限.

 

现在就开始动手  

  

Uri uri = new Uri( "amqp://192.168.10.160:9992/" );
               ......   ......
ch.ExchangeDeclare(exchange, exchangeType, true);//,true,true,false,false, true,null);
ch.QueueDeclare(pic_process_queue, true, false , false, new Dictionary <string, string>() { { "x-ha-policy" , "all" } });
 ch.QueueBind(pic_process_queue, exchange, routingKey);
 ch.QueueDeclare(pic_process_queue2, true, false , false, null);
 ch.QueueBind(pic_process_queue2, exchange, routingKey);

 

  我们使用rabbitmqctl工具检查集群状态,注意我新建了一个脚本rabbitmq-util内容基本和rabbitmqctl一样,只是显示指定了cookie.

[root@localhost scripts]#  ./rabbitmq-util -n z_91@zen.com cluster_status

Cluster status of node 'z_91@zen.com' ...

[{nodes,[{disc,['z_92@zen.com']},{ram,['z_93@zen.com','z_91@zen.com']}]},

{running_nodes,['z_92@zen.com','z_93@zen.com','z_91@zen.com']}]

...done.

[root@localhost scripts]#  ./rabbitmq-util -n z_93@zen.com list_queues name pid slave_pids

Listing queues ...
qp_pic_queue    <'z_92@zen.com'.2.7008.0>       [<'z_93@zen.com'.2.6931.0>, <'z_91@zen.com'.2.7445.0>]
qp_pic_queue2   <'z_92@zen.com'.2.7013.0>       []
...done.
[root@localhost scripts]# 

 

  可以看到上面连接的Rabbit是92节点,端口9992;我们现在正常关闭92节点(使用rabbitmqctl而不是kill),现在我们修改Client的代码,连接到93节点 Uri uri = new Uri( "amqp://192.168.10.160:9993/" );运行同样的代码,和我们的预期一致:qp_pic_queue 由于声明了Mirrored 所有在92节点关闭之后,我们可以在93上重建队列;而qp_pic_queue2 就没有这么幸运了,抛出了404错误.看下面的截图:

 

如果只是在部分节点复制呢?    

 

   上面的例子是把消息在整个集群内进行复制,如果是指定在几个节点之间做消息镜像怎么办?其实编码实现上没有难度,因为x-ha-policy参数支持显示指定节点;下面是我截取的rabbit_amqqueue.erl中关于创建镜像队列的参数处理逻辑;下面是一段C#客户端代码显示指定要在哪些节点复制消息.

..\rabbitmq-server-2.8.7\src\rabbit_amqqueue.erl

determine_queue_nodes(Args) ->
    Policy = rabbit_misc:table_lookup(Args, <<"x-ha-policy">>),
    PolicyParams = rabbit_misc:table_lookup(Args, <<"x-ha-policy-params">>),
    case {Policy, PolicyParams} of
        {{_Type, <<"nodes">>}, {array, Nodes}} ->
            case [list_to_atom(binary_to_list(Node)) ||
                     {longstr, Node} <- Nodes] of
                [Node]         -> {Node,   undefined};
                [First | Rest] -> {First,  [First | Rest]}
            end;
        {{_Type, <<"all">>}, _} ->
            {node(), all};
        _ ->
            {node(), undefined}
    end.

 

声明一个yaqp_pic_queue

ch.ExchangeDeclare(exchange, exchangeType, true);//,true,true,false,false, true,null);

 ch.QueueDeclare(pic_process_queue, true, false , false,

 new Dictionary <string, object>() { { "x-ha-policy" , "nodes" }, { "x-ha-policy-params", new List<string >() { "z_91@zen.com", "z_93@zen.com" } } });

 ch.QueueBind(pic_process_queue, exchange, routingKey);

   

  用rabbitmqctl看看slave_pids

[root@localhost scripts]#  ./rabbitmq-util -n z_93@zen.com cluster_status
Cluster status of node 'z_93@zen.com' ...
[{nodes,[{disc,['z_92@zen.com']},{ram,['z_93@zen.com','z_91@zen.com']}]},
{running_nodes,['z_92@zen.com','z_91@zen.com','z_93@zen.com']}]
...done.
[root@localhost scripts]#  ./rabbitmq-util -n z_91@zen.com list_queues name pid slave_pids
Listing queues ...
qp_pic_queue    <'z_93@zen.com'.2.6931.0>       [<'z_91@zen.com'.2.7445.0>, <'z_92@zen.com'.3.235.0>]
yaqp_pic_queue  <'z_91@zen.com'.2.7875.0>       [<'z_93@zen.com'.2.7387.0>]
qp_pic_queue2   <'z_92@zen.com'.3.232.0>        []
...done.
[root@localhost scripts]# 

   

    只是实际操作的时候有点两难了:我们要在代码编写的时候就要指定这个参数,而运行时这些节点可是不一定活着的.如果显示指定的节点不是都处于在线状态,declare就会失败.节点调整的时候硬编码也会让我们陷入窘境,所以rabbitmq in action推荐的做法是使用x-ha-policy的all选项,即在全集群范围内复制消息.

  

半路增加新节点会如何?

 

    理想状态总是简单,真实环境总是复杂;如果我们要在运行时添加一个新的节点到集群中(添加节点这种事情这再正常不过),消息复制会怎么处理?如果有新节点加入,RabbitMQ不会同步之前的历史数据,只会复制新消息.这里的假设是随着消息的被consumer取走,最终所有的节点的数据都会对齐一致.

    一个自然的追问就是:master节点退出集群会选一个slave作为master,那么要是不幸选中了一个刚刚加入集群的节点怎么办?不就丢消息了么?放心RabbitMQ会维护节点的状态是否已经同步,使用rabbitmqctl的synchronised_slave_pids参数,就可以查看状态.看下面的例子,如果slave_pids和synchronised_slave_pids里面的节点是一致的,那说明全都同步了.如果不一致很容易比较出来哪些还没有同步.

[root@localhost scripts]#  ./rabbitmq-util -n z_91@zen.com list_queues name pid slave_pids synchronised_slave_pids
Listing queues ...
zen_qp_pic_queue        <'z_91@zen.com'.2.8009.0>       [<'z_93@zen.com'.2.7517.0>]     [<'z_93@zen.com'.2.7517.0>]
qp_pic_queue    <'z_93@zen.com'.2.6931.0>       [<'z_91@zen.com'.2.7445.0>, <'z_92@zen.com'.3.235.0>, <'z_94@zen.com'.1.595.0>] [<'z_91@zen.com'.2.7445.0>, <'z_92@zen.com'.3.235.0>, <'z_94@zen.com'.1.595.0>]
yaqp_pic_queue  <'z_91@zen.com'.2.7875.0>       [<'z_93@zen.com'.2.7387.0>]     [<'z_93@zen.com'.2.7387.0>]
qp_pic_queue2   <'z_92@zen.com'.3.232.0>
yy_qp_pic_queue <'z_91@zen.com'.2.7920.0>       [<'z_93@zen.com'.2.7434.0>]     [<'z_93@zen.com'.2.7434.0>]
...done.
[root@localhost scripts]# 

 

 官网资料: Highly Available Queues  http://www.rabbitmq.com/ha.html 

 

最后,小图一张 每当变幻时 Miss