为什么要学习 Apache Pulsar

黑马程序员官方

于 2023-08-30 10:30:56 发布

阅读量100

点赞数

分类专栏： 2023Python——基础到应用进阶文章标签：学习 apache

本文链接：https://blog.csdn.net/itcast_cn/article/details/132576998

版权

2023Python——基础到应用进阶专栏收录该内容

281 篇文章 189 订阅

订阅专栏

本文介绍了云原生概念的发展，重点剖析了ApachePulsar作为云原生企业级消息系统的特点，包括其多租户、灵活的消息模型、云原生架构、segmentedStreams、跨地域复制以及与Kafka的对比。Pulsar提供了高性能和灵活性，适合大数据处理和实时流处理应用。

摘要由CSDN通过智能技术生成

什么是云原生

云原生的概念是2013年Matt Stine提出的,到目前为止, 云原生的概念发生了多次变更, 目前最新对云原生定义为: DevOps+持续交付+微服务+容器

而符合云原生架构的应用程序是: 采用开源堆栈（K8S+Docker）进行容器化，基于微服务架构提高灵活性和可维护性，借助敏捷方法、DevOps支持持续迭代和运维自动化，利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。

Apache Pulsar基本介绍

Apache Pulsar 是一个云原生企业级的发布订阅（pub-sub）消息系统，最初由Yahoo开发，并于2016年底开源，现在是 Apache软件基金会顶级开源项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Mail、 Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。

Apache Pulsar的功能与特性:

1) 多租户模式:

2) 灵活的消息系统

3) 云原生架构

4) segmented Sreams(分片流)

5) 支持跨地域复制

多租户模式

租户和命名空间（namespace）是 Pulsar 支持多租户的两个核心概念。
在租户级别，Pulsar 为特定的租户预留合适的存储空间、应用授权与认证机制。
在命名空间级别，Pulsar 有一系列的配置策略（policy），包括存储配额、流控、消息过期策略和命名空间之间的隔离策略。

灵活的消息系统

Pulsar 做了队列模型和流模型的统一，在 Topic 级别只需保存一份数据，同一份数据可多次消费。以流式、队列等方式计算不同的订阅模型大大提升了灵活度。
同时pulsar通过事务采用Exactly-Once(精准一次)在进行消息传输过程中, 可以确保数据不丢不重

云原生架构

Pulsar 使用计算与存储分离的云原生架构，数据从 Broker 搬离，存在共享存储内部。上层是无状态 Broker，复制消息分发和服务；下层是持久化的存储层 Bookie 集群。Pulsar 存储是分片的，这种构架可以避免扩容时受限制，实现数据的独立扩展和快速恢复

Segmented Streams(分片流)

Pulsar 将无界的数据看作是分片的流，分片分散存储在分层存储（tiered storage）、BookKeeper 集群和 Broker 节点上，而对外提供一个统一的、无界数据的视图。其次，不需要用户显式迁移数据，减少存储成本并保持近似无限的存储。

支持跨地域复制

Pulsar 中的跨地域复制是将 Pulsar 中持久化的消息在多个集群间备份。在 Pulsar 2.4.0 中新增了复制订阅模式(Replicated-subscriptions)，在某个集群失效情况下，该功能可以在其他集群恢复消费者的消费状态，从而达到热备模式下消息服务的高可用。

Apache Pulsar组件介绍

层级存储

Inﬁnite Stream: 以流的方式永久保存原始数据
分区的容量不再受限制
充分利⽤云存储或现有的廉价存储 ( 例如 HDFS)
数据统⼀表征：客户端无需关心数据究竟存储在哪⾥

Pulsar IO(Connector) 连接器

Pulsar IO 分为输入（Input）和输出（Output）两个模块，输入代表数据从哪里来，通过 Source 实现数据输入。输出代表数据要往哪里去，通过 Sink 实现数据输出。
Pulsar 提出了 Connector （也称为 Pulsar IO），用于解决 Pulsar 与周边系统的集成问题，帮助用户高效完成工作。
目前 pulsar IO 支持非常多的连接集成操作: 例如HDFS 、Spark、Flink 、Flume 、ES 、HBase等

Pulsar Funcations(轻量级计算框架)

Pulsar Functions 是一个轻量级的计算框架，可以给用户提供一个部署简单、运维简单、API 简单的 FASS（Function as a service）平台。Pulsar Functions 提供基于事件的服务，支持有状态与无状态的多语言计算，是对复杂的大数据处理框架的有力补充。
Pulsar Functions 的设计灵感来自于 Heron 这样的流处理引擎，Pulsar Functions 将会拓展 Pulsar 和整个消息领域的未来。使用 Pulsar Functions，用户可以轻松地部署和管理 function，通过 function 从 Pulsar topic 读取数据或者生产新数据到 Pulsar topic。

Pulsar和Kafka的对比介绍说明

1) 模型概念

Kafka: producer – topic – consumer group – consumer
Pulsar: producer – topic -subsciption- consumer

2) 消息消费模式

Kafka: 主要集中在流(Stream) 模式, 对单个partition是独占消费, 没有共享(Queue)的消费模式
Pulsar: 提供了统一的消息模型和API. 流(Stream) 模式 – 独占和故障切换订阅方式 ; 队列(Queue)模式 – 共享订阅的方式

3) 消息确认(ack)

Kafka: 使用偏移量 offset
Pulsar: 使用专门的cursor管理. 累积确认和kafka效果一样; 提供单条或选择性确认

4) 消息保留:

Kafka: 根据设置的保留期来删除消息, 有可能消息没被消费, 过期后被删除, 不支持TTL
Pulsar: 消息只有被所有订阅消费后才会删除, 不会丢失数据,. 也运行设置保留期, 保留被消费的数据 . 支持TTL

Apache Kafka和Apache Pulsar都有类似的消息概念。客户端通过主题与消息系统进行交互。每个主题都可以分为多个分区。然而，Apache Pulsar和Apache Kafka之间的根本区别在于Apache Kafka是以分区为存储中心，而Apache Pulsar是以Segment为存储中心。

对比总结：

Apache Pulsar将高性能的流（Apache Kafka所追求的）和灵活的传统队列（RabbitMQ所追求的）结合到一个统一的消息模型和API中。 Pulsar使用统一的API为用户提供一个支持流和队列的系统，且具有同样的高性能。

性能对比:

Pulsar 表现最出色的就是性能，Pulsar 的速度比 Kafka 快得多，美国德克萨斯州一家名为 GigaOm (logo) 的技术研究和分析公司对 Kafka 和 Pulsar 的性能做了比较，并证实了这一点。

扩展说明: kafka目前存在的痛点

1) Kafka 很难进行扩展，因为 Kafka 把消息持久化在 broker 中，迁移主题分区时，需要把分区的数据完全复制到其他 broker 中，这个操作非常耗时。

2) 当需要通过更改分区大小以获得更多的存储空间时，会与消息索引产生冲突，打乱消息顺序。因此，如果用户需要保证消息的顺序，Kafka 就变得非常棘手了。

3) 如果分区副本不处于 ISR（同步）状态，那么 leader 选取可能会紊乱。一般地，当原始主分区出现故障时，应该有一个 ISR 副本被征用，但是这点并不能完全保证。若在设置中并未规定只有 ISR 副本可被选为 leader 时，选出一个处于非同步状态的副本做 leader，这比没有 broker 服务该 partition 的情况更糟糕。

4) 使用 Kafka 时，你需要根据现有的情况并充分考虑未来的增量计划，规划 broker、主题、分区和副本的数量，才能避免 Kafka 扩展导致的问题。这是理想状况，实际情况很难规划，不可避免会出现扩展需求。

5) Kafka 集群的分区再均衡会影响相关生产者和消费者的性能。

6) 发生故障时，Kafka 主题无法保证消息的完整性（特别是遇到第 3 点中的情况，需要扩展时极有可能丢失消息）。

7) 使用 Kafka 需要和 offset 打交道，这点让人很头痛，因为 broker 并不维护 consumer 的消费状态。

8) 如果使用率很高，则必须尽快删除旧消息，否则就会出现磁盘空间不够用的问题。

9) 众所周知，Kafka 原生的跨地域复制机制（MirrorMaker）有问题，即使只在两个数据中心也无法正常使用跨地域复制。因此，甚至 Uber 都不得不创建另一套解决方案来解决这个问题，并将其称为 uReplicator (https://eng.uber.com/ureplicator/)。

10) 要想进行实时数据分析，就不得不选用第三方工具，如 Apache Storm、Apache Heron 或 Apache Spark。同时，你需要确保这些第三方工具足以支撑传入的流量。

11) Kafka 没有原生的多租户功能来实现租户的完全隔离，它是通过使用主题授权等安全功能来完成的。

学习Apache Pulsar可以让我们获得一个强大的消息传递系统，能够构建可靠和高性能的数据处理平台。如果想研究大数据。学习Apache Pulsar可以提供一个强大的消息传递系统，用于实时数据流处理和数据传输等场景，这在大数据开发中是非常重要的一部分。

视频教程：全网最全的大数据Apache Pulsar视频教程，黑马程序员pulsar从基础到实战全套教程https://www.bilibili.com/video/BV1CF411v7Dh/全网首推, 随着这这几年Pulsar在国内市场占有度不断的提升, 越来越多的人们迫切想要学习这个新型的技术, 但是由于目前市场对Pulsar的完整的讲解几乎没有, 官方文档翻译度也不是特别好, 导致大家在学习Pulsar出现了很多的问题, 推出此课程的目的也是为了能够帮助需要使用Pulsar以及想要了解Pulsar的同学们,提供一个更加快速入门的门槛 课程从基础篇, 高级篇, 实战篇全方位介绍Pulsar整个内容,涵盖Pulsar推出最新的功能。