java从入门到精通txt下载，你不懂还不学？

最新推荐文章于 2024-09-05 23:16:50 发布

m0_56824583

最新推荐文章于 2024-09-05 23:16:50 发布

阅读量154

点赞数

分类专栏：程序员文章标签：面试经验分享 java

本文链接：https://blog.csdn.net/m0_56824583/article/details/118641465

版权

本文深入探讨了Kafka、Pulsar和RabbitMQ在分布式系统持久性方面的设计和实现，分析了它们的复制协议、持久化策略以及基准测试框架。Kafka通过精心设计的复制协议保证一致性，而Pulsar和RabbitMQ依赖不同的持久化和复制机制。基准测试部分展示了评估这些系统性能的方法和修复的不公平因素。

摘要由CSDN通过智能技术生成

1、背景

首先，让我们简要地讨论下每个系统，以了解它们的高级设计和架构，看下每个系统所做的权衡。

Kafka 是一个开源的分布式事件流处理平台，也是 Apache 软件基金会下五个最活跃的项目之一。在其核心，Kafka 被设计成一个多副本的分布式持久化提交日志，用于支撑事件驱动的微服务或大规模流处理应用程序。客户端向代理集群提供事件或使用代理集群的事件，而代理会向底层文件系统写入或从底层文件系统读取事件，并自动在集群中同步或异步地复制事件，以实现容错性和高可用性。

Pulsar 是一个开源的分布式发布 / 订阅消息系统，最初是服务于队列用例的。最近，它又增加了事件流处理功能。Pulsar 被设计为一个（几乎）无状态代理实例层，它连接到单独的 BookKeeper 实例层，由它实际地读取 / 写入消息，也可以选择持久地存储 / 复制消息。Pulsar 并不是唯一的同类系统，还有其他类似的消息传递系统，如 Apache DistributedLog 和 Pravega，它们都是在 BookKeeper 之上构建的，也是旨在提供一些类似 Kafka 的事件流处理功能。

BookKeeper 是一个开源的分布式存储服务，最初是为 Apache Hadoop 的 NameNode 而设计的预写日志。它跨服务器实例 bookies，在 ledgers 中提供消息的持久存储。为了提供可恢复性，每个 bookie 都会同步地将每条消息写入本地日志，然后异步地写入其本地索引 ledger 存储。与 Kafka 代理不同，bookie 之间不进行通信，BookKeeper 客户端使用 quorum 风格的协议在 bookie