消息队列
RabbitMQ的死信队列和延时队列?
消息被拒,requeue设置 为 false
消息过期,队列达到最大程度 这时候会存放到死信队列中去。
设置消息过期时间:采用队列中的x-message-ttl 参数去设置,单位是毫秒
关于ActiveMQ、RocketMQ、RabbitMQ、Kafka一些总结和区别
为什么使用消息队列?
异步(发送手机验证码),
解耦(借款系统和风控系统),
削峰(秒杀,购买商品,放入消息队列排队)
使用消息队列有什么缺点?
(1).多了一个MQ服务,可能会出现单点故障,导致系统不可用(集群)
(2).消息队列重复消费幂等问题(一个操作无论执行多少次,都会自己业务没有任何影响)
(3).消息队列丢失问题
(4).消息队列顺序问题
消息队列如何选型?
ActiveMQ集群模式很复杂,它的集群模式是分片的,每个机器上只存了部分数据,万一服务挂了,数据就丢了,最高并发10万以内,社区活跃度比较低,对开发的系统安全有影响
RabbitMQ集群模式,可以保证服务挂了,不丢消息,最高并发10万以内,社区活跃度比较高
RocketMQ集群模式,可以保证服务挂了,不丢消息,最高并发10万以上,社区活跃度比较高
Kafka(集群模式,打点统计,日志统计),高并发100万
如何保证消息队列是高可用的?
集群
如何保证消息不被重复消费?
根据业务场景做幂等(1.比如唯一的信息我们可以建唯一索引,2.监听里面做校验幂等操作,3.每个消息分配一个唯一的id,uuid,消费完redis存一下,然后后面每次都进来校验下)
如何保证消息的顺序性?
1.保证一个生产者对应着一个消费者
2.监听器里面把消息消费放到JVM队列(LInkedBlockQueue),然后再消费本地队列
如何保证消息不丢失?
MQ发送消息到消费的整个过程分为3个阶段,生产者-MQ-消费者,
1.保证MQ服务的高可用,做集群,持久化
2.消费者在消费MQ里面的内容的时候,如果MQ保存了,MQ会有重试机制,重试还失败后会进入死信队列,然后消息丢失,这个过程可以采用ACK确认机制,手动签收消息,如果消费失败,让消息还是在MQ里面
如果消息在生产者发送到MQ的过程中,因为通讯网络问题,也可能会丢失,这个时候需要做消息持久化,我们会把消息存入到数据库,如果消费成功,把消息删除掉,当然删除消息可能会失败,后面我们可以通过定时任务轮询做补偿,然后继续忘消息队列里面发消息,那么这样可能会出现一个新问题,消息的重复消费,需要考虑幂等问题,我们消息持久化的时候都会分配一个msgId唯一标识,后面消费完了存入redis,消费之前校验一下就可以了