深入探索 Apache Pulsar：为什么它是下一代分布式消息系统的最佳选择？

最新推荐文章于 2024-09-27 20:15:00 发布

花千树-010

最新推荐文章于 2024-09-27 20:15:00 发布

阅读量610

点赞数 19

分类专栏： MQ 文章标签： apache 分布式 kafka rabbitmq java-rocketmq java-activemq

本文链接：https://blog.csdn.net/fenglingguitar/article/details/142488030

版权

MQ 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Apache Pulsar 和 Apache Kafka 是当前流行的分布式消息系统，它们在架构、性能、功能以及使用场景上有诸多相似和不同之处。除此之外，其他消息系统如 RabbitMQ、ActiveMQ 等也在不同的使用场景中发挥着重要作用。下面将详细对比 Pulsar 和 Kafka，并与其他消息系统如 RabbitMQ 和 ActiveMQ 做一些简要对比。

1. Apache Pulsar vs Apache Kafka

a. 架构

Pulsar：
- 多层架构：Pulsar 使用了分层的架构，主要包括 Broker（处理客户端请求和数据存储）、BookKeeper（用于存储消息日志）和 ZooKeeper（负责集群元数据和协调）。
- 分布式日志存储（BookKeeper）：Pulsar 将存储与计算分离，使用 Apache BookKeeper 作为持久化日志存储系统。每条消息被拆分为多个片段，分布在不同的 Bookie 节点上。
- 多租户支持：Pulsar 原生支持多租户，可以通过逻辑隔离实现对多个组织或应用的服务。
Kafka：
- 单层架构：Kafka 是一个基于分布式日志的系统，消息日志和数据存储都是由 Kafka Broker 来处理，依赖分区副本机制来实现数据的持久化和高可用性。
- 副本机制：Kafka 中每个分区都有副本，主副本和从副本在不同的 Broker 上存储，保证数据可靠性。
- 单租户设计：Kafka 最初并没有设计多租户支持，虽然可以通过 ACL、命名空间等方式实现部分隔离，但 Pulsar 在多租户方面支持更好。

b. 消息持久化和存储

Pulsar：Pulsar 使用 Apache BookKeeper 来存储消息日志，并将消息分割成多个日志段分布存储。通过这种分布式日志存储，Pulsar 能够实现更细粒度的存储控制和更高的性能。
Kafka：Kafka 通过持久化消息到 Broker 的本地磁盘实现数据存储。每个分区都会在多个节点上复制，消息通过分区副本机制实现可靠性。

c. 消息消费模型

Pulsar：
- 支持 发布-订阅（Pub-Sub）模型 和 队列模型。
- Pulsar 支持多种订阅模式：独占（Exclusive）、共享（Shared）、失败后重试（Failover）和按键共享（Key_Shared）。
- 延迟消息和重复消费：Pulsar 通过消息的持久化机制可以自然支持延迟消息处理和消息重放，适合对消息顺序和持久性有严格要求的场景。
Kafka：
- Kafka 也采用 发布-订阅模型，但是 Kafka 的消费模型更接近于消息队列（类似 Pulsar 的独占模式），每个分区只能有一个消费者处理消息。
- Kafka 通过偏移量控制消费，消费者可以手动提交偏移量，从而实现消息的重复消费。

d. 性能

Pulsar：由于其存储与计算分离的设计，以及通过 BookKeeper 实现的日志存储，Pulsar 在处理大量分区、存储消息并发性和处理吞吐上表现优秀。Pulsar 还支持 读写分离，提高了消息处理的吞吐量。
Kafka：Kafka 对消息的顺序性和高吞吐量有非常好的优化，适合流处理系统。通过其零拷贝机制，Kafka 的性能表现非常优秀，尤其在处理流式大数据时具有较低的延迟和高吞吐量。

e. 多租户和隔离性

Pulsar：Pulsar 从设计上原生支持多租户，允许不同的租户通过命名空间进行逻辑隔离。同时 Pulsar 还支持每个租户定义独立的权限和配额控制。
Kafka：Kafka 并没有内置的多租户支持，需要通过 ACL 和其他第三方工具来进行部分隔离。

f. 扩展性

Pulsar：
- Pulsar 支持 水平扩展，Broker 和 BookKeeper 都可以独立扩展。其存储和计算分离架构，允许存储系统独立扩展，解决了 Kafka 中分区增长带来的扩展瓶颈。
- 由于 Pulsar 支持分布式日志存储，所以它可以更灵活地处理大规模数据集。
Kafka：
- Kafka 的扩展性依赖于分区，每个分区对应一个消费者。分区的数量在创建主题时就被设定，因此扩展性与分区数量直接相关。
- 扩展 Kafka 可能会因为分区的再平衡导致较大的延迟。

g. 流处理

Pulsar：Pulsar 支持原生的 Pulsar Functions，可以在消息进入时进行简单的实时处理，类似轻量级的流处理框架。
Kafka：Kafka 提供了专门的流处理库 Kafka Streams，可以实现更复杂的流数据处理任务。此外，Kafka 生态系统中的 ksqlDB 也可以用于无代码的流数据查询。

h. 生态系统

Pulsar：虽然 Pulsar 生态系统不如 Kafka 成熟，但 Pulsar 仍提供了 Pulsar Functions、支持多种语言客户端（如 Java、Python、Go 等），并集成了 Presto 和 Flink。
Kafka：Kafka 拥有更为成熟的生态系统，包括 Kafka Connect、Kafka Streams、ksqlDB 等丰富的扩展支持。此外，Kafka 在数据管道、事件流处理领域有着广泛的应用。

2. Apache Pulsar vs RabbitMQ

a. 架构

Pulsar：分布式的消息队列和流处理平台，具备高度的水平扩展能力，支持持久化存储和多租户。
RabbitMQ：基于 AMQP 协议的消息中间件，侧重于可靠的消息传递和队列管理。RabbitMQ 以易用性著称，但其扩展性在大规模环境中受到限制。

b. 消息模型

Pulsar：支持多种订阅模式，如独占、共享、按键共享，适合流处理场景。
RabbitMQ：侧重于队列模型，消息可以在队列中传递，支持复杂的路由规则和消息确认机制，适合分布式系统中的可靠消息传递。

c. 性能和扩展性

Pulsar：基于 BookKeeper 实现的存储分离设计，使其在处理大规模并发和高吞吐时表现优越。
RabbitMQ：适用于中小型消息传递系统，适合复杂的路由和消息传递控制，但在处理大规模并发时性能表现不如 Pulsar。

3. Apache Pulsar vs ActiveMQ

a. 架构

Pulsar：分布式架构，支持水平扩展和高并发处理，适合大规模流处理场景。
ActiveMQ：基于 JMS 规范，适用于企业消息传递场景，尤其是在需要强事务性和可靠性时。ActiveMQ 提供了多种持久化和消息路由机制，但其架构不如 Pulsar 高效扩展。

b. 消息模型

Pulsar：支持多种订阅模式，具有良好的顺序和持久性处理能力。
ActiveMQ：提供队列和发布订阅模式，支持持久性消息和事务性处理，适合传统企业消息队列需求。

c. 扩展性

Pulsar：天然支持大规模分布式部署，具备高度的扩展性。
ActiveMQ：设计主要是针对企业级应用，不擅长处理大规模并发场景，扩展性有限。

4. 总结

特性	Apache Pulsar	Apache Kafka	RabbitMQ	ActiveMQ	Apache RocketMQ
架构设计	多层架构，存储计算分离，使用 BookKeeper	单层架构，基于分区副本机制	基于 AMQP 协议，轻量级，路由机制丰富	基于 JMS，企业级消息传递，事务支持	主从架构，轻量级，分布式队列和日志存储
持久化存储	Apache BookKeeper 分布式日志存储	本地磁盘存储，分区副本	内存与磁盘队列存储，支持持久化	支持多种持久化存储机制	Broker 使用本地存储进行消息持久化
消息模型	发布-订阅、队列，支持多种订阅模式	发布-订阅，基于分区的消费模型	队列模型为主，支持复杂的路由规则	发布-订阅和队列模型	主要队列模型，支持顺序消息、延迟消息和事务消息
扩展性	水平扩展性强，存储与计算分离，适合大规模数据处理	扩展性依赖分区数量，分区数量设定后固定	中小规模应用表现良好，大规模有性能瓶颈	不擅长处理大规模并发和高吞吐量的场景	扩展性相对有限，主从架构扩展灵活性较弱
多租户支持	原生支持，基于命名空间和逻辑隔离	无原生支持，通过 ACL 进行隔离	不支持	不支持	支持命名空间隔离，但不如 Pulsar 灵活
流处理	支持 Pulsar Functions，轻量级流处理	Kafka Streams、ksqlDB，支持复杂流处理	不支持流处理	不支持流处理	不支持流处理
事务性支持	不支持事务消息	支持事务消息（需要依赖外部机制）	支持事务性消息处理	强事务支持	原生支持事务消息，适用于金融级别业务场景
延迟消息	支持延迟消息	不支持（可通过 Kafka Streams 实现）	支持延迟消息	支持延迟消息	原生支持延迟消息
使用场景	大规模高并发应用，流处理，日志管理	大数据、流处理和事件驱动架构，实时分析	中小型分布式应用，复杂路由需求	企业消息系统，可靠传输和事务性需求	金融、电商、物流等高可靠性和事务性需求场景