ActiveMQ、RocketMQ、RabbitMQ、Kafka区别

一、三大应用场景(优点)
解耦、异步、削峰
1、解耦:只需要将消息写入消息队列,需要消息的去消息队列中订阅就好
2、异步:一些非必要的逻辑可以采用异步来完成,从而提升响应速度
3、削峰:某个时间段并发量特别大的时候可以将消息发送到消息队列中,然后从消息队列中慢慢拉取进行消费
二、消息队列的缺点
1、系统可用性降低:如系统原本运行的好好的,加入消息队列后一旦消息队列挂掉,系统直接就over了
2、增加系统的复杂度:采用消息队列后要考虑好多问题,如一致性、如何保证消息不被重复消费、消息的可靠传输
三、消息队列的选型
1、ActiveMQ:更新比较慢、java开发的、万级吞吐量
2、RabbitMQ:相对ActiveMQ来说更新较快、erlang语言开发(erlang语言天生具有高并发的特效,但是熟悉erlang的人相对较少,好在社区比较活跃)
3、RocketMQ:支持分布式架构、Java语言开发可以定制化开发
4、Kafka:支持分布式架构、吞吐量十万级
四、保证消息队列的高可用
建立长链接,定时发送心跳
五、如何保证不会重复消费
1、RabbitMQ会发生一个ACK确认消息
2、RocketMQ会返回一个CONSUME_SUCCESS成功标志
3、Kafka每条消息会有一个offset,在消费后需要提交offset,让消息队列知道已经消费
六、如何保证消息的可靠传输
三个角度:生产者弄丢数据、消息队列弄丢数据、消费者弄丢数据
1、RabbitMQ提供transaction和confirm来保证生产者不丢消息
1.1 transaction机制就是说在发送消息的时候开启事务<channel.txSelect()>,然后再发送消息,若发送过程中发生异常则会滚<channel.txRollback()>,成功则提交<channel.txCommit()>,缺点就是吞吐量下降
1.2 confirm模式生产上用的居多,一旦channel进入confirm模式,所有在该信道上的消息都会被指派一个唯一ID(从1开始),一旦消息投递到所匹配的队列都,RabbitMQ会发送一个Ack(包含消息的唯一ID)给生产者,这就知道已经消费处理了,如果RabbitMQ没有处理这条消息,则会发送一个Nack消息给你,这就知道消费失败,然后就可以重试了。
2、RabbitMQ消息队列丢数据
2.1 处理消息队列丢数据的情况,一般是开启持久化磁盘的配置。这个持久化配置可以和confirm机制配合使用,你可以在消息持久化磁盘后,再给生产者发送一个Ack信号。这样,如果消息持久化磁盘之前,rabbitMQ阵亡了,那么生产者收不到Ack信号,生产者会自动重发。
2.11 那么如何持久化呢,这里顺便说一下吧,其实也很容易,就下面两步
2.111、将queue的持久化标识durable设置为true,则代表是一个持久的队列
2.112、发送消息的时候将deliveryMode=2
这样设置以后,rabbitMQ就算挂了,重启后也能恢复数据
3、RabbitMQ消费者丢数据
3.1 消费者丢数据一般是因为采用了自动确认消息模式(采用手动提交即可)
4、Kafka生产丢失数据
4.1 在kafka生产中,基本都有一个leader和多个follwer。follwer会去同步leader的信息。因此,为了避免生产者丢数据,做如下两点配置
第一个配置要在producer端设置acks=all。这个配置保证了,follwer同步完成后,才认为消息发送成功。
在producer端设置retries=MAX,一旦写入失败,这无限重试
5、Kafka消息队列丢数据
5.1 针对消息队列丢数据的情况,无外乎就是,数据还没同步,leader就挂了,这时zookpeer会将其他的follwer切换为leader,那数据就丢失了。针对这种情况,应该做两个配置。
replication.factor参数,这个值必须大于1,即要求每个partition必须有至少2个副本
min.insync.replicas参数,这个值必须大于1,这个是要求一个leader至少感知到有至少一个follower还跟自己保持联系。这两个配置加上上面生产者的配置联合起来用,基本可确保kafka不丢数据
6、Kafka消费者丢数据
6.1 这种情况一般是自动提交了offset,然后你处理程序过程中挂了。kafka以为你处理好了。解决方案也很简单,改成手动提交即可。
6.2 offset介绍:
6.21 offset:指的是kafka的topic中的每个消费组消费的下标。简单的来说就是一条消息对应一个offset下标,每次消费数据的时候如果提交offset,那么下次消费就会从提交的offset加一那里开始消费。
比如一个topic中有100条数据,我消费了50条并且提交了,那么此时的kafka服务端记录提交的offset就是49(offset从0开始),那么下次消费的时候offset就从50开始消费。
ActiveMQ和RocketMQ自己查阅一下就行。
不喜勿喷。

  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值