消息队列学习笔记————消息队列详解

一、什么是消息队列

“消息”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。
而“消息队列”顾名思义，就是由多个消息组成的队列。消息被发送到队列中。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。
而“消息队列”中间件就是用来实现消息接收和发送的第三方软件。主要解决应用解耦，异步消息，流量削锋等问题。常用的消息队列中间件有ActiveMQ、RabbitMQ、Kafka、MetaMQ、RocketMQ等。

二、场景分析

异步消息：
在单机应用中，假设方法A调用方法B执行任务处理。如果方法B的执行比较耗时，在请求数过多时，可能会造成阻塞，这时我们可以使用阻塞队列+线程池的方式来实现生产者-消费者模式，用来实现异步任务的处理。但是在分布式应用中，只能把消息处理交给第三方服务即消息中间件来做，这个服务能够实现数据的存储以及传输，使得在分布式架构下实现跨进程的远程消息通信。

程序解耦：
假设服务A的下游服务是服务B，当服务B失效后，会导致服务A也失效。但是引入消息中间件后，服务A不与服务B直接通信，服务A处理完后，将消息发给消息中间件，而服务B只需从消息中间件中拿到消息再处理，服务B失效后也不影响服务A的运行，当服务B恢复后继续处理消息即可，这样就把服务A与服务B解耦了。

流量削峰：
以秒杀系统为例，当一段时间内出现大量的请求，很容易造成系统崩溃。而使用消息中间件后，让请求先存到消息中间件中，而秒杀系统则以一个稳定的速度从消息中间件中获取请求来处理，这样不会导致系统崩溃

三、消息中间件的设计分析

消息中间件的基本功能：

1. 最基本的是要能支持消息的发送和接收；需要涉及到网络通信就一定会涉及到NIO。
2. 消息中心的消息存储。存储涉及到持久化与非持久化。持久化又涉及数据库存储、文件存储（涉及到持久化的时机、零拷贝、磁盘、页缓存、顺序读取等技术点）；非持久化涉及到内存
3. 消息的序列化和反序列化。不同的中间件的序列化协议也不同
4. 是否跨语言
5. 消息的确认机制，如何避免消息重发
6. 支持集群。涉及到master选举。是自己实现选举还是使用第三方（zookeeper）

高级功能：

1. 消息的有序性
2. 是否支持事务消息
3. 消息收发的性能，对高并发大数据量的支持
4. 消息的可靠性存储
5. 是否支持多协议

实现一个消息队列中间件这些功能基本必不可少。所以在学习和使用消息中间件时，可以围绕这些功能来学习。

四、常用消息队列对比

Kafka：Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目，由Scala写成。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。Kafka是一个分布式的、分区的、多复本的日志提交服务。主要特点是基于Pull的模式来处理消息消费，追求高吞吐量，0.8开始支持复制，不支持事务，适合产生大量数据的互联网服务的数据收集业务。

RabbitMQ：RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于高级消息队列协议（AMQP）来实现。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。

RocketMQ：RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有低延迟、强一致、高性能、可靠性、万亿级容量和灵活的可扩展性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka，但并不是Kafka的一个Copy，它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。

ActiveMQ：ActiveMQ由Apache软件基金会基于Java语言开发的一个开源的消息代理。能够支持多个客户机或服务器。计算机集群等属性支持ActiveMQ来管理通信系统。