RocketMQ和Kafka应用场景与选型

本文比较了Kafka和RocketMQ在日志处理、性能、可靠性、实时性等方面的特点,指出两者各有优劣,如Kafka在性能上占优但消息顺序性差,RocketMQ则在消息可靠性和顺序性上更胜一筹。RocketMQ通过长轮询提高实时性,且未来支持分布式事务和消息查询。
摘要由CSDN通过智能技术生成

1、适用场景
kafka 适合【日志处理】
rocketmq 适合【业务处理】
结论:两者没有区别,根据具体业务定夺;
2、性能
kafka单机写入TPS号称在【百万条/秒】;
rocketmq大约在1【10万条/秒】;
结论:追求性能方面,kafka单机性能更高;
3、可靠性
kafka使用异步刷盘方式,异步Replication;
rocketmq支持异步/同步刷盘,异步/同步Replication
结论:rocketmq所支持的同步方式提升了数据的可靠性
4、实时性
kafka和rocketmq均支持pull长轮询,
rocketmq消息实时性更高;
结论:rocketmq胜出
5、支持的队列数
kafka单机超过64个队列/分区,消息发送性能降低严重
rocketmq单机支持最高5W个队列,性能稳定
结论:长远看,rocketmq胜出,
6、消息顺序性
kafka某些配置下,支持消息顺序,但是一台Broker宕机后,就会产生消息乱序
rocketmq支持严格的 消息顺序,一台Broker宕机后,发送消息会失败,但是不会乱序
结论:rocketmq胜出
7、消息失败重试机制 -----
kafka消费失败不支持重试
rocketmq消费失败支持定时重试,每次重试间隔时间顺延
8、定时/延时消息 ----
kafka不支持定时消息
rocketmq支持定时消息
9、分布式事务消息
kafka不支持分布式事务消息
rocketmq未来会支持
10、消息查询机制
kafka不支持消息查询
rocketmq支持根据message id查询消息,也支持根据消息内容查询消息
11、消息回溯 ----
kafka可以按照offset回溯消息
rocketmq支持按照时间回溯消息,例如从一天之前的某时某分开始重新消费消息 —

问题一:push和pull模式

push模式:客户端与服务端建立连接后,当服务端有消息时,将消息推送到客户端
pull模式:客户端不断的轮询请求服务端,来获取新的消息

在具体实现时,push和pull模式都是采用消费端主动拉取的方式,即consumer轮询从broker拉取消息

区别:

push 方式中,consumer把轮询过程封装了,并注册了MessageListener监听器,取到消息后,
唤醒MessageListener的consumerMessage来消费,用户而言,觉得消息被推送过来的;

pull 方式中,取消息的过程需要用户自己写,首先通过打算消费的Topic拿到MessageQueue的集合,
遍历MessageQueue集合,然后针对每个MessageQueue批量获取消息,一次取完之后,
记录该队列下一次要取的开始offset。

直到取完了,再换另一个MessageQueue;

疑问:既然都是采用pull方式实现,rocketmq怎么保证消息的实时性?

长轮询:rocketmq时采用长轮询的方式实现的,指的是在请求的过程中,若是服务器端数据并没有更新,
那么则将这个连接挂起,直到服务器推送新的数据,再返回,然后进入循环周期;

客户端像传统轮询一样从服务端请求数据,服务端会阻塞请求不会立刻返回,直到有数据或者超时才返回给客户端,
然后关闭连接,客户端处理完响应信息后再向服务器发送新的请求;

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值