2017年06月_朱小厮

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 RabbitMQ Network Partitions 处理策略

网络分区的意义RabbitMQ的模型类似交换机模型，且采用erlang这种电信网络方面的专用语言实现。RabbitMQ集群是不能跨LAN部署（如果要WAN部署需要采用专门的插件）的，也就是基于网络情况良好的前提下运行的。这种假设就好比paxos并不解决拜占庭问题。为什么RabbitMQ需要这种前提假设？这个它本身的数据一致性复制原理有关。RabbitMQ采用的镜像队列是一种环形的逻辑结构，...

2017-06-27 00:08:19 14469 4

原创 RabbitMQ Network Partitions 服务日志对比

如果你一直使用RabbitMQ作为业务的消息中间件，难免会遇到网络分区（Network Partitions）的故障，也许你当时会束手无策，一脸懵逼，不过希望在看完这篇文章之后，能给你一点解决网络分区的思路。RabbitMQ中所有节点状态的变更都会记录在日志当中，日志默认地址为：$RABBITMA_HOME/var/log/rabbitmq/rabbit@node*.log。所以当网络分区发生...

2017-06-24 18:18:16 4163

原创 Kafka压缩

在某些情况下，整个应用的瓶颈不在于CPU或者磁盘，而是受网络带宽的影响。当然你可以选择在业务代码中对每一条消息做压缩处理，之后再发送到kafka中，之后业务消费端再进行解压处理，这种方式对应消息的压缩效率是非常低。而真正有效的压缩是对一批消息进行压缩而不是单独的为每条消息进行压缩。Kafka(本文是以0.8.2.x的版本做基准的)本身可以支持几种类型的压缩，比如gzip和snappy，更高的版...

2017-06-14 01:17:13 22705 1

原创 RabbitMQ的元数据重建

1.概述对于RabbitMQ运维层面来说，扩容和迁移是必不可少。扩容比较简单，一般往集群中加入新的机器节点即可，不过新的机器节点中是没有消息的，如果想要新加入的节点能快速的存储消息还是需要做点小手术的。不过这是后话，本文的主要内容是迁移，而迁移的首要工作就是为新的集群重建原集群的元数据。重建RabbitMQ元数据，说白了就是在新的集群上重新创建exchange、queue以及彼此的bind...

2017-06-12 19:29:45 8782 4