目录
1.MQ
1.1定义
MQ (Message Quene):翻译为消息队列,通过典型的生产者和消费者模型,生产者不断向消息队列中生产消息,消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松的实现系统间解耦。别名为消息中间件 通过利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。
1.2 MQ有哪些
当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ, 炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。
1.3不同MQ特点
1.ActiveMQ
ActiveMQ是Apache出品,最流行的,能力强劲的开源消息总线。它是一个完全支持JMS规范的的消息中间件。丰富的API,多种集群架构模式让ActiveMQ在业界成为老牌的消息中间件,在中小型企业颇受欢迎!性能没有其他好。吞吐量不高。
2.Kafka
Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache顶级项目。Kafka主要特点是基于Pu11的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。 用于大数据实时处理
3.RocketMQ
RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的-个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、bing1og分发等场景。
用于双十一,但是阿里云买的RocketMQ才支持事务。
4.RabbitMQ
RabbitMQ是使用Erlang语言开发的开源消息队列系统(所以处理并发时,性能非常不错),基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、 稳定性和可靠性要求很高的场景(这四种中最高的,不会丢失任何数据),对性能和吞吐量的要求还在其次(输于Kafka)。
与spring框架做无缝对接
总结:RabbitMQ比Kafka可靠, Kafka更适合IO高吞吐的处理,一般应用在大数据日志处理或对实时性(少量延迟), 可靠性 (少量丢数据) 要求稍低的场景使用,比如ELK日志收集。
2.MQ的应用场景
2.1异步处理
场景说明:
用户注册后,需要发注册邮件和注册短信,传统的做法有两种1 .串行的方式2 .并行的方式
1.串行方式:
将注册信息写入数据库后,发送注册邮件再发送注册短信,以上三个任务全部完成后才返回给客户端。
这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西.
2.并行方式:
将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。
3.消息队列: 广播模型
假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并行已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响,客户端没有必要等着其发送完成才显示注册成功,应该是写入数据库后就返回,然后进入网站,进行正常操作.消息队列:引入消息队列后,把发送邮件,短信不是必须的业务逻辑异步处理
由此可以看出引入消息队列后,用户的响应时间就等于写入数据库的时间+写入消息队列的时间(可以忽略不计),引入消息队列后处理后,响应时间是串行的3倍,是并行的2倍。
2.2应用解耦
场景:
双11是购物狂节,用户下单后,订单系统需要通知库存系统,传统的做法就是订单系统调用库存系统的接口.
这种做法有一个缺点:当库存系统出现故障时,订单就会失败。订单系统和库存系统高耦合.引入消息队列.
订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。
库存系统:订阅下单的消息,获取下单消息,进行库操作。就算库 存系统出现故障,消息队列也能保证消息的可靠投递,不会导致消息丢失.
(比如说应该减去库存,一直不减。然后前面一直卖东西,最后超过库存数量????)
这时候需要redis。
检查缓存中该用户是否已经下单过:在消息队列下单成功后写入redis一条用户id和商品id绑定的数据
没有下单过,检查缓存中商品是否还有库存
缓存中如果有库存,则将用户id和商品id封装为消息体传给消息队列处理
注意:这里的有库存和已经下单都是缓存中的结论,存在不可靠性,在消息队列中会查表再次验
证,作为兜底逻辑
2.3流量削峰
场景:
秒杀活动,一般会因为流量过大,导致应用挂掉,为了解决这个问题,一般在应用前端加入消息队列。
作用:
1.可以控制活动人数,超过此一定阀值的订单 直接丢弃
2.可以缓解短时间的高流量压垮应用(应用程序按自己的最大处理能力获取订单)
1.用户的请求,服务器收到之后,首先写入消息队列,加入消息队列长度超过最大值,则直接抛弃用户请求或跳转到错误页面.
2.秒杀业务根据消息队列中的请求信息,再做后续处理.