时光里的博客

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Kafka中的优化问题1.如何防⽌消息丢失2.如何防⽌重复消费怎么解决：==所谓的幂等性：多次访问的结果是⼀样的==。解决⽅案：1. 在数据库中==创建联合主键==2. **使⽤redis或zk的分布式锁（主流的⽅案）**以==业务id为锁==。保证只有⼀条记录能够创建成功支付业务系统---幂等性3.如何做到消息的顺序消费4.如何解决消息积压问题Kafka中的优化问题1.如何防⽌消息丢失⽣产者：1）使⽤同步发送 2）把ac

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录kafka集群中的controller、rebalance、HW1.controller1.1 集群中谁来充当controller每个broker启动时会向zk创建⼀个临时序号节点，获得的==序号最⼩==的那个broker将会作为集群中的controller1.2 controller的主要作用2.rebalance机制2.1 前提2.2 触发的条件2.3 分区分配的策略3.HW 和 LEOkafka集群中的controller

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Springboot中使⽤Kafka1.引⼊依赖2.编写配置⽂件-----yml3.消息⽣产者4.消费者5.消费者中配置消费主题、分区和偏移量Springboot中使⽤Kafka1.引⼊依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kaf

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录java客户端-⽣产者的实现依赖1. ⽣产者的基本实现发送消息到指定分区上未指定分区，则会通过业务key的hash运算，算出消息往哪个分区上发2.⽣产者的----同步发送消息⽣产者同步发消息，在收到kafka的ack告知发送成功之前⼀直处于==阻塞状态==3. ⽣产者的----异步发送消息⽣产者发消息，发送完后不⽤等待broker给回复，直接执⾏下⾯的业务逻辑4.⽣产者中相关配置-----ProducerConfigack的配置5.

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Kafka集群操作1.搭建kafka集群（三个broker）2.副本的概念---replication集群消费分区分消费组的集群消费中的细节⼀个partition只能被⼀个消费组中的⼀个消费者消费，⽬的是为了保证消费的顺序性Kafka集群操作1.搭建kafka集群（三个broker）创建三个server.properties⽂件# 0 1 2broker.id=2// 9092 9093 9094listener

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录kafka集群搭建kafka集群搭建

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Kafka 设计Kafka 关注的问题:AKFX 轴:业务划分 -----==topic== 主题Y 轴:追求效率,并发并行 分片-----==Partition==：分区Z 轴:高可用-----==Replica==：副本业务划分Kafka---架构模型Kafka 设计Kafka 关注的问题:Kafka 作为分布式中间件所关注的问题性能问题单点问题AKFX 轴:业务划分 -----topic 主题Y

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Kafka定义==Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue==），主要应用于 大数据实时处理领域。各种MQ比较Kafka适合什么样的场景?消息队列使用消息队列的好处消息队列的 两种模式1. 点对点模式（一 对一 ，消费者主动拉取数据,==消息收到后消息清除==）2. 发布 /订阅模式（一对多 ，消费者数据之后==不会清除消息== ）Kafka 基础架构首先是一些概念:发布订阅:1）Produ

官方定义 Spring Cloud Stream 是一个构建消息驱动微服务的框架Spring Cloud Stream 中，提供了一个微服务和消息中间件之间的一个粘合剂，这个粘合剂叫做Binder，Binder 负责与消息中间件进行交互。而我们开发者则通过 inputs 或者 outputs 这样的消息通道与 Binder 进行交互。目前仅支持RabbitMQ、Kafka应用程序通过 inputs 或者 outputs 来与 Spring Cloud Stream中binder对象交互。

服务端口server:port: 8081#配置rabbitmq服务 测试不用写，默认本机spring:rabbitmq:username: guest #默认账号password: guest #默认密码port: 5672#消息确认配置项#确认消息已发送到交换机： Exchange#确认消息已发送到队列: Queue。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。

rabbitmq六种工作模式简单模式工作模式发布订阅模式路由模式主题模式RPC模式简单模式RabbitMQ是一个消息中间件，你可以想象它是一个邮局。当你把信件放到邮箱里时，能够确信邮递员会正确地递送你的信件。RabbitMq就是一个邮箱、一个邮局和一个邮递员。发送消息的程序是生产者队列就代表一个邮箱。虽然消息会流经RbbitMQ和你的应用程序，但消息只能被存储在队列里。队列存储空间只受服务器内存和磁盘限制，它本质上是一个大的消息缓冲区。多个生产者可以向同一个队列发送消息，多个消

RabbitMQ服务解耦假设有这样一个场景, 服务A产生数据, 而服务B,C,D需要这些数据, 那么我们可以在A服务中直接调用B,C,D服务,把数据传递到下游服务即可但是,随着我们的应用规模不断扩大,会有更多的服务需要A的数据,如果有几十甚至几百个下游服务,而且会不断变更,再加上还要考虑下游服务出错的情况,那么A服务中调用代码的维护会极为困难这是由于服务之间耦合度过于紧密再来考虑用RabbitMQ解耦的情况A服务只需要向消息服务器发送消息,而不用考虑谁需要这些数据;下游服务如果需要数据,自行