MQ详细讲解

1.什么是MQ？

        消息队列，队列是一种FIFO先进先出的数据结构，然后消费者对消息进行处理。

         使用场景：微信、qq

2. MQ的三种作用

        1.异步：送快递，将消息存放等待有时间去处理，作用响应速度和吞吐量提高

        2.解耦：服务与服务之间进行解耦，提高系统的扩展性和稳定性

        3.销峰：用于秒杀等，以稳定的系统应对突发流量冲击

3.缺点：1.系统可用性降低：一旦MQ宕机，整个业务都会受到影响

               2.系统的复杂度：会存在一定问题，消息的丢失？重复调用？消息如何保证顺序？

4.选择产品的原因

        kafka：优点：吞吐量大，性能非常好，集群高可用

                     缺点：容易丢失数据，功能单一

                     使用场景：日志分析、大数据采集

        rabbitMQ：优点：消息可靠，功能全面

                        缺点：吞吐量较低，当消息累积会影响性能

                        使用场景：小规模

        rocketMQ：优点：高吞吐、高性能、功能全面

                        缺点：开源版本不如商业版，稳定性不太好

                        场景：几乎全部

5.消息丢失几种情况及解决。
        1.生产者发生消息时丢失消息

        解决：kafka：消息发送+回调

                    rabbitMQ：消息发送+回调+事务

事务：生产者——half消息给MQ——响应half——生产者发送真正事务消息——MQ回查事务响应事务状态

        2.MQ主从消息同步丢失

        解决：rocketMQ同步同步，不会丢失信息。生产者——MQ的Master——S——生产者

                        异步同步，效率高容易丢失消息。生产者——master——s（如果master宕机了，就没法回滚了）

                rabbitMQ：普通集群和镜像集群

        3.MQ消息存盘时消息丢失

                解决：rocketMQ同步异步刷盘，rabbitMQ将队列配置成持久队列

        4.MQ消息到消费者时丢失

                解决：rocketMQ默认同步消费，采用异步。

                        rabbitMQ：手动提交offset

  6.如何保证消息消费的幂等性（重复消费）

        RocketMQ中给每个消息分配了一个MessageID，作为消费者判断幂等（不建议使用）

        一般使用：自己生成一个由业务标识的ID(预创订单号)，来进行判断是否幂等。

7.如何保证消息的顺序

        首先要知道MQ本身是先进先出且局部有序，全局无序。只需要把他们放在同一个队列中消费就能实现。

        RocketMQ：生产者把一组有序的消息放在一个队列中，消费者对应消费

        rabbitMQ：生产者将消息交给exchange交给对应一个队列，对应一个消费者

        kafka：生产者通过partition分配，将消息分配到同一个partition，topic下对应一个消费者

8.如何保证消息的高效读写

        通过零拷贝技术，java中对零拷贝进行了封装，Mmap方式通过MappedBytoBuffer对象进行操作，适合比较小的文件，文件不超过1.5-2G.

        transfile通过FileChannel进行操作，没有文件大小限制

RocketMQ使用Mmap，commitlog创建存在，满了在创建以此循环一直操作

 kafka：使用index日志文件通过Mmap读写，使用transfile将硬盘数据加载到网卡