redis、kafka、rabittMQ对比 （转）

本文不对三者之间的性能进行对比，只是从三者的特性上区分他们，并指出三者的不用应用场景。

redis 消息推送（基于分布式 pub/sub）多用于实时性较高的消息推送，并不保证可靠。其他的mq和kafka保证可靠但有一些延迟（非实时系统没有保证延迟）。

redis-pub/sub断电就清空，而使用redis-list作为消息推送虽然有持久化，但是又太弱智，也并非完全可靠不会丢。

另外一点，redis 发布订阅除了表示不同的 topic 外，并不支持分组，比如kafka中发布一个东西，多个订阅者可以分组，同一个组里只有一个订阅者会收到该消息，这样可以用作负载均衡。比如，kafka 中发布：topic = "发布帖子" data="文章1" 这个消息，后面有一百台服务器每台服务器都是一个订阅者，都订阅了这个 topic，但是他们可能分为三组，A组50台，用来真的做发布文章，A组50台里所有 subscriber 都订阅了这个topic。由于在同一组，这条消息 （topic="发布帖子", data="文章1"）只会被A组里面一台当前空闲的机器收到。而B组25台服务器用于统计，C组25台服务器用于存档备份，每组只有一台会收到。用不同的组来决定每条消息要抄送出多少分去，用同组内哪些订阅者忙，哪些订阅者空闲来决定消息会被分到哪台服务器去处理，生产者消费者模型嘛。redis完全没有这类机制，这两点是最大的区别。。。。。

1、publish/subscribe

发布订阅模式如下图所示可以具有多个生产者和发布者，redis、kafka、rebittMQ都满足这样的要求。

但是三者有各自的特色。

1.1 redis

redis的特征就是快，由于其数据是存储在内存中的，处理速度相对另外两者快了不少。通过使用redis可以实现一个简单具有实时通信功能的聊天室。

2.2 kafka

kafka的设计初衷是一个日志系统，其队列中的数据能够持久化一段时间。因此后来的consumer能够通过自定义offset来实现获取之前的消息，而redis就不具备这样的能力。

2.3 rabittMQ

rabittMQ设计的一个核心概念为Exchange，Exchange存在的意义是producer不会直接向queue发送消息，而是将消息先发给exchanger，而exchanger选择将数据转发给queue。rabittMQ的exchanger有4种转发策略，包括direct、topic、headers、fanout。因此rabittMQ在消息的路由方面相比redis和kafka更加灵活。

2、work queue

work queue模式相比发布订阅者模式更侧重负载均衡，我们可以把一个队列当做一个任务，而消费该队列的worker需要共同处理队列里的任务，同一条消息只能被处理一次。如下图所示是work queue的示意图：

 

2.1redis

redis可以使用list数据结构来实现这一任务，因为redis的单个操作是原子的，保障了一条消息只能被处理一次，但是缺点是consumer需要自己实现，还有一些负载均衡地策略也要自己去实现。

2.2rabittMQ

rabittMQ内部实现了这一功能，使用轮训的方式给worker发消息保证了负载均衡。缺点是可拓展性不好，当consumer相当多的时候，所有的consumer都要向同一个queue去获取数据，这样导致queue的性能称为了瓶颈。

2.3kafka

kafka通过consumer group的方式实现了work queue，同一个group的消费者能够协调完成任务。kafka在分布式方面做得很好，在kafka中，一个queue和topic的概念等同，只是topic可以被分成多个partition，而这些partition分别存储在不同的服务器上，这样，同一个Consumer group中的consumer在消费数据的时候可以从不同的partition中获取数据，减少了单台服务器的压力。

3、更加复杂的情况

如下图所示复杂的情况，以日志举例，error日志需要持久化，所有的日志都应该打印出来。那么这里有两个工作流，一个是持久化，一个是打印。

如果用redis和kafka来实现的话需要在producer上下功夫，将消息区分之后发送到不同的queue上，而rabittMQ则更加灵活，可以通过exchanger来实现消息的转发。

4、小结

redis的特点就是快

kafka的特点是可拓展性高，可以持久化

rabittMQ的特点是灵活，能够实现各种消息需求。

应用场景分析 
Redis：轻量级，高并发，延迟敏感 
即时数据分析、秒杀计数器、缓存等 

RabbitMQ：重量级，高并发，异步 
批量数据异步处理、并行任务串行化，高负载任务的负载均衡等 

5 参考资料

原文链接：http://blog.csdn.net/maitianshouwei/article/details/57124155