Pulsar出仕，Kafka要被淘汰了吗？

最新推荐文章于 2023-04-03 00:03:09 发布

58沈剑

最新推荐文章于 2023-04-03 00:03:09 发布

阅读量473

点赞数

文章标签：分布式队列 kafka java 大数据

原文链接：https://j.naixuejiaoyu.com/1EoYn67n1Cg?putcode=jgszlsj\x26amp;key=be

版权

Kafka 被誉为消息传递系统之王，全面具备：高吞吐量、低延迟、容错、持久性、可伸缩性等特质。

尤其是广为人知的高吞吐量，Kafka 每秒大约可以生产约 25 万消息（50 MB），每秒处理 55 万消息（110 MB）。还有一个巨大的优势就是容错，Kafka 具备一个固有功能，能自行应对集群中的节点故障。

画外音：快，主要是因为Partition、顺序写入、零拷贝、批处理。

1、Kafka 真的打遍天下无敌手吗？

阿里、腾讯、百度、字节跳动、Netflix、Twitter……地球上赫赫有名的公司，几乎都离不开 Kafka，但这并不说明 Kafka 一定完美。

通常，技术团队部署 Kafka 都遭遇过以下困境：

扩容容易，缩容难；
缺乏一致性；
存储成本高，没人存数据；
可能造成消息的重复消费。

何况，业务场景日益丰富的今天，架构选型何种消息队列要从业务本质进行考量，不依赖 Zooeeper 的 RocketMQ、更能保障消息传递可靠性的 RabbitMQ，都是不错的选择。

2、如何将 Kafka 和 MQ 的优势融为一体？

大数据领域 Kafka 几乎无可替代，而业务领域众多 MQ 又各有所长，怎么选才能面面俱到？你想要的完美，新一代云原生消息平台、Apache Pulsar 都可以满足！

在实时流式架构中，消息用例可被分为两类：队列和流。而 Pulsar 最优秀的地方正在于此，它将队列和流合二为一，统一为消息传递模型（producer-topic-subscription-consumer）。

也就是说，Pulsar 不仅可以如同 Kafka 一样处理高速率实时场景，还能支持传统的标准消息队列模式，例如多消费者和失效备援订阅等。

一个 Pulsar 系统，直接让你拥有 RabbitMQ + RocketMQ + Kafka 的各项特性。更惊艳的是，Pulsar 采用云原生架构，它的架构设计能够充分利用分布式且能弹性扩容云端资源，永久性告别性能不足，是未来的大趋势。

3、Pulsar 还具备哪些核心特性？

目前，Pulsar 已经被腾讯、智联招聘、涂鸦智能、中国移动、中国电信、360、达达集团（京东到家）、苏宁、平安证券、华为等各个领域的巨头争先广泛实践，有全面赶超 Kafka 的趋势，和当年阿里推动 Flink 取代 Spark 的态势非常相似。

Pulsar 还有哪些核心优势？相对于 Kafka 和 MQ，云原生的 Pulsar 在架构层面有何不同？实践方面，基于 Pulsar 的业务架构如何设计？

深学一项技术，一定要从它的架构开始。这里推荐一门国内首套 Pulsar 课程，StreamNative 联合创始人、开源项目 Apache Pulsar 和 Apache BookKeeper 的 PMC 成员和 Committer 翟佳，与奈学教育联合创始人、前58转转公司大数据资深架构师、Hadoop平台负责人李希沅共同打造的《Apache Pulsar 万亿级云原生的分布式消息平台》在线专栏课，3天时间，助你直达行业下一个风口。