程序员-杨胡广的博客

的消息系统，如果按常理来设计，大家是不是把消息发送者的消息直接发送给消息消费者？但Kafka并不是这么设计的，Kafka消息的生产者会对消息进行分类，再发送给中间的消息服务系统，而消息消费者通过订阅某分类的消息去接受特定类型的消息。每一个主题下的消息都需要提交到Broker的磁盘里，假如我们搭建了三个Broker节点组成的Kafka集群，一般情况下同一个主题下的消息会被分到三个分区进行存储。其实这么设计的目的也是为了满足大量业务消息的接入，要是单一的消息发送和接收，那开个进程的。的话，不会有吞吐量的问题。

如果把客户的一条支付消息丢失，而这条支付信息的涉及的金额不菲，想想对公司的损失有多大。Kafka高水位保证了消费者只会读取到已提交的数据，即被写入所有分区副本的数据。上面所说的其实是基于Broker层面带给Kafka的可靠性保障，我们还需要在生产者、消费者层面下功夫，来使整个系统减少丢失数据的风险。在分区复制的过程中，首领分区会在发送的数据里加入当前高水位。复制机制保证了分区副本和首领副本的数据一致性，有复制机制的加持，分区多副本架构才是可用的。Kafka的控制器和Redis集群的哨兵的选举功能是一样的。

下有很多流程步骤，用户支付后，发送支付消息过来。消费者扣款后，还需要发送另一个消息去给商家转账。Broker会认为该消息未被消费，此时消息A会分给其他消费者。这个场景下就需要事务的支持了，保证两个步骤的事务性。，kafka会根据这些信息避免重复消息被写入。比如消费消息A，新消息被成功写入，但。，这两步操作要么成功要么都不成功。比如主题A的消息A过来，消费者的。它是这样的，发送消息时同时发送。知道的，消息队列事务主要应用在。可能会出现重复消费的问题。是发送消息B给主题B。，可以开启这个模块。