消息队列
RabbitMQ、RocketMQ、Kafka 区别?
RabbitMQ的延时最低,微秒级别,单机吞吐量不好,高可用为主从,请求可以请求从机,但是从机上并没有消息数据,需要根据从主机同步过来的queue配置信息去主机上拉取过来返回给请求端。
RocketMQ延时毫秒级别,吞吐量高,topic几百到几千时,吞吐量也不会下降太多。分布式架构可用性高。
Kafka延时毫秒以内级别,吞吐量高,topic几十到几百时,吞吐量下降很多。分布式架构,一个数据多份副本集。
为什么使用消息队列?
解耦:生产者没必要去关心到底有哪些消费者需要消费,他可以将消息写入到mq中,有需要的对接系统自己来MQ中取就可以了
异步:如果一个功能处理起来耗时很长,这样会给用户很不好的体验,所以可以将需要做的处理先写入mq,成功写入mq后,将成功的结果返回给用户,后续对mq中的消息进行处理。
削峰:这个可以和异步结合起来理解。比如高并发场景下,大数据大流量直接访问数据库,会造成数据库的压力过大,这个时候我们就可以先将消息写入mq中,后续再进行数据的处理操作。
重复消费问题?
为什么会有重复消费问题?
比如Kafka,每个数据都会有一个offset来标记,类似序号。当消息被消费者消费后,kafka会定时来提交offset,下次kafka重启时,就会