2016年09月_Michael_曾浩

原创 Rabbitmq HAproxy 集群设置

集群节点说明三个节点,两个内存节点一个磁盘节点,内存节点提供对外访问,磁盘节点用于作为备份节点. 集群为镜像集群,所有的queue所属的主为两个raw节点上. 客户端连接方式为长连接,配置有超时与重连.HAproxy配置frontend SOA_Rabbitmq_frontend bind 172.18.4.240:5672 mode tcp option

2016-09-21 09:50:54 2016

原创 rabbitmq监控

python实例#!/bin/env python# encoding: utf-8import sys, urllib2, base64, json#rabbitmq ip = "127.0.0.1"username = "guest"password = "guest"#monitor keyskeys = ('messages_ready', 'messages_unacknowle

2016-09-14 13:34:25 2175

原创 Rabbitmq AE换机

AE交换机作用使用Exchange,路由消息到对应的队列,当这个Exchange所绑定的queue的Routingkey都不匹配的时候就会进入AE交换机.设置AE交换机新建交换机的时候设置AE feature 设置AE交换机的类型为 internal表示只交换机到交换机的. 设置以后队列多带的feature列表绑定交换机与queue的routingkey

2016-09-14 13:21:27 582

生产者流控当触发Rabbitmq的流控后,会限制生产者发送消息的频率,比如之前是2W/s限制后可能在一段时间内无法发送消息. 触发流控条件,达到内存这只的水位线(vm_memory_high_watermark )或者磁盘达到限制剩余量.一般在产生的原因是长期的生产者发送速率大于消费者消费速率导致.流控实验设置rabbitmqctl set_vm_memory_high_watermark 0.0

2016-09-14 13:09:16 4201

原创 Rabbitmq unack过多处理

在Rabbitmq有大量的unack,会极度影响Rabbitmq的性能,因为这些消息消费不出去,反复消费回退刷盘,设置消费者端的qos就可以避免这个问题. 未设置QOS = 1 设置QOS = 1 产生unack的原因:在队列里面取消息消费,在消费者端认为这个消息异常,会反复的回退在消费(一般有消费逻辑),这时候极度影响性能,可以根据TTL去处理(不建议,因为后续的消息会被误过期)或者根据

2016-09-14 13:02:18 22028 3

原创 Rabbitmq 队列属性

队列属性1，持久性：如果启用，队列将会在server重启前后都有效。 2，自动删除：如果启用，那么队列将会在所有的消费者停止使用之后自动删除掉自身。 3，惰性：如果没有声明队列，那么在执行到使用的时候会导致异常，并不会主动声明。 4，排他性：如果启用，队列只能被声明它的消费者使用。

2016-09-14 12:48:08 2975

原创 Rabbitmq Exchange使用建议

Exchange类型1，direct转发消息到RK指定的队列(严格匹配RK) 2，topic按RK规则转发（binding-key模糊匹配RK） 3，fanout 转发消息到所有绑定队列 4，headers 根据发送消息中的header属性进行匹配 5，system 匹配N(包含0)个关键字，*匹配一个关键字 binding key：*.michael.# routing-key：tt

2016-09-14 12:45:21 2285

原创 Rabbitmq消息可靠性保障

发送者发送这端利用confirm保证消息可以顺利达到rabbitmq,消息开启持久化(Delivery Mode = 2). 发送者发送一个消息,到达rabbitmq,然后rabbitmq认为此消息需要持久化,经过内存到磁盘的过程,然后把消息返回给发送者端.消息持久化申明交换机持久化和队列持久化 rabbitmq接收到消息,会把消息从内存刷到磁盘的存储文件中.消费者端设置消息的ack,当消费者消

2016-09-14 12:38:58 3647

原创 Rabbitmq消费失败死信队列

Rabbitmq 重消费处理一处理流程图: 业务交换机:正常接收发送者,发送过来的消息,交换机类型topicAE交换机: 当业务交换机无法根据指定的routingkey去路由到队列的时候,会全部发送到AE交换机.发送到此队列的消息属于,业务垃圾消息,或者攻击消息类型,交换机类型fanout死信交换机:用于处理消费者,消费失败回退的消息,根据死信交换机的routingkey发送到死信队列,交换

2016-09-14 12:26:34 30645 1

原创 Rabbitmq消息发送接收Demo

Rabbitmq生产者Demo# encoding: utf-8import pika, sysrabbitmq_user = "michael"rabbitmq_passwd = "michael"rabbitmq_host = "192.168.2.188"'''创建连接'''credentials = pika.PlainCredentials(rabbitmq_user, rabbi

2016-09-14 11:21:54 712

曾浩