消息队列作用
异步
登录 购物车系统、短信;
A处理订单下单,B是订单下单成功,发送一条短信,通知订单成功,bc 也是一些小事儿。
为了提供用户体验和吞吐量,异步调用BCD接口。
削峰、限流
促销时,每秒3000请求,假设两台机器,每次能处理1000个请求。
那多出来的1000条请求,写在消息队列
根据自己能够处理的请求数去消息队列中那拿数据。 去拿消息队列的消息有系统自己去控制。 不会搞崩。
消息队列中间件
jdk队列种类很多,但都是简单的内存队列。
消息队列(中间件)可能考虑什么问题
高可用
解耦合、异步操作、削峰,消息队列不能是单机的。单机的消息队列,万一这台机器挂了,整个系统就不可用了。
幂等性原理
- 为了实现生产者的幂等性,kafka引入了Producer ID(PID)和Sequence Number的概念。
- PID:每个Producer在初始化时,都会分配一个唯一的PID,这个PID对用户来说,是透明的。
- Sequence Number:针对每个Producer(对应PID)发送到指定主题分区的消息都对应一个从零开始递增的Sequence Number。
小结:pid和seq同时判断,相当于添加版本号,类似于CAS机制
生产者消息重复问题
- kafka生产者生产消息到partition,如果直接发送消息,kafka会将消息保存到分区中,但kafka会返回一个ack给生产者,表示当前操作是否成功,是否已经保存了这条消息,如果ack响应的过程失败了,此时生产者会重试,继续发送没有成功的消息,kafka又会保存一条一模一样的消息
在kafka中可以开启幂等性
判断条件:生产者发送过来的sequencenumber是否小于等于partition中消息对应的sequence