提起成熟的消息队列,毋庸置疑,大多数人的第一反应一定是 Kafka。
Kafka 作为一款明星级产品,能够彻底满足海量数据场景下高吞吐、高并发需求,在短短几年内,已经被阿里、腾讯、百度、字节跳动、Netflix、Twitter 等超一线大厂视为技术核心——可以说今天还没听说过 Kafka,等于不知道地球是圆的!
然而,技术的世界从没有“三十年河东三十年河西”的说法,夸张地比喻一下:很多技术经常是今天诞生、明天爆火、后天淘汰。市面上真的没有其他产品有可能取代 Kafka 吗?一身光环、头顶王冠的 Kafka 究竟还能火多久?
消息传递系统之王“陨落”在即Kafka 最大的对手来了?
Kafka 被誉为消息传递系统之王,它全面具备:高吞吐量、低延迟、容错、持久性、可伸缩性,尤其是广为人知的高吞吐量,*Kafka 每秒大约可以生产约 25 万消息(50 MB),每秒处理 55 万消息(110 MB)*!Kafka 还有一个巨大的优势就是容错,它具备一个固有功能,可以自行应对集群中的节点故障。
Kafka 当然很强,但在运维和实践过程中,却也始终存在着一些棘手的问题。例如:
扩展性较差,剥离 Broker 意味着必须复制 topic 分区和副本,