RabbitMq、Kafka、RocketMq整理

目录

一、常见中间件对比

二、RabbitMq

2.1、AMQP的核心概念

2.2、关键点：

2.2.1、持久化：

2.2.2、交换机的属性:

2.2.3、交换机的类型

2.3、RabbitMq的集群

2.4、RabbitMq的高级特性：

2.4.1、生产者部分（可靠性投递）

2.4.1.2、return listener 消息处理机制：

2.4.2、MQ服务端部分

2.4.3、消费者部分

2.4.4、消息幂等性消费

2.4.5、消费端限流

2.4.6、消息数据堆积问题

2.4.7、消息的顺序消费

2.4.8、死信队列（可实现延迟队列）

2.5、消息场景

2.5.3、Publish/Subscribe 订阅 发布 机制

2.5.4、Routing 基于内容的路由

2.5.5、Topics 话题

2.5.6、Publisher Confirms 发送者消息确认

三、kafka

3.1、使用场景：

3.2、基本概念

3.2.1、不同消费模式

3.2.1.1、消费顺序

3.2.2、主题Topic和消息日志Log

3.2.3、分区存储的原因：

3.3、kafka集群

3.4、基本特性

3.4.1、生产者发送消息的特性

3.4.1.1、发出消息持久化机制参数（消息丢失问题）

3.4.1.2、发送失败会重试:

3.4.1.3、本地缓冲区批量及定时发送

3.4.1.4、内容序列化

3.4.1.5、发送端负载均衡到不同分区

3.4.1.6、发送端可同步阻塞也可异步回调发送

3.4.2、消费端消费特性

3.4.2.1、手动提交防止数据丢失

3.4.2.2、消费逻辑

3.4.2.3、心跳检测更新机制

3.4.2.4、poll拉取方式消费

3.4.2.5、具体消费哪条数据不同方式

3.5、设计原理

3.5.1、Kafka核心总控制器Controller

3.5.2、Controller选举机制

3.5.3、Partition副本选举Leader机制

3.5.4、消费者消费消息的offset记录机制

3.5.5、消费者Rebalance机制

3.5.6、消费者Rebalance分区分配策略：

3.5.7、producer发布消息机制剖析

3.5.8、HW与LEO详解

3.5.9、日志分段存储

3.6、生产经验

3.6.1、生产存储硬件及JVM配置：

3.6.2、重复消费

3.6.3、消息乱序

3.6.4、消息积压

3.6.5、延时队列

3.6.6、消息回溯

3.6.7、分区数越多吞吐量越高吗

3.6.8、kafka的事务

3.6.9、kafka高性能的原因

---

MQ的主要作用：异步提高性能、解耦提高扩展性、削峰。

一、常见中间件对比

 Kafka、RocketMq和RabbitMq最大的区别就是：前两个是分布式存储。

1.1、ActiveMq

优点:1)完全支持jms规范的消息中间件 ,2)提供丰富的api， 3)多种集群构建模式。

缺点:）在高并发的场景下,性能可能不是很好，容易造成消息堆积,延时。

1.2、RabbitMQ

使用Erlang语言开发，基于AMQP协议实现。AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求在其次。