Pulsar
文章平均质量分 81
Pulsar,脉冲星
Geoffrey Turing
Engaged in Java RD,BigDataRD,SRE... Contribute to Apache Hadoop/Kafka/Pulsar/Doris community
展开
-
Pulsar bk报错Unable to allocate memory, exiting bookie
报错开发人员反映pulsar不可用每个pulsar bk节点查看./bookkeeper shell bookiesanity发现有2个bk不可用,查看对应日志发现如下15:36:52.503 [bookie-io-1-134] ERROR org.apache.bookkeeper.proto.BookieServer - Unable to allocate memory, exiting bookie io.netty.util.internal.OutOfDirectMemoryErro原创 2021-07-30 16:52:06 · 2843 阅读 · 0 评论 -
Pulsar-SQL搭建
环境version:pulsar 2.7.1做个Pulsar SQL做个demo查询java 8Pulsar-SQL搭建node1/2/3配置config.propertiesnode1节点(coordinator节点)vim ${project.root}/conf/presto/config.propertiesnode.id=1node.environment=testhttp-server.http.port=8081coordinator=truenode-sched原创 2021-04-06 21:19:29 · 3566 阅读 · 3 评论 -
Pulsar IO——Sink使用汇总
Apache Pulsar 是一个分布式的发布-订阅消息系统,sink 是 Pulsar 的一个组件,用于将数据导入至其他系统。1、Create-创建 sink$ bin/pulsar-admin sink create <options>常用参数-a,–archive : 指定 sink 的 NAR 包–classname : 指定 sink 的类名称-i,–inputs : 指定 sink 的 topic,多个 topic 用逗号隔开–name : 指定 .原创 2021-04-01 16:37:32 · 1419 阅读 · 0 评论 -
Pulsar IO——Source使用汇总
Apache Pulsar 是一个分布式发布订阅的消息系统。Source 是 Pulsar 的一个组件,用来将其他系统的数据输入至 Pulsar。本文介绍 Apache Pulsar Source 的基础知识,例如,Source 的常用命令、环境搭建以及使用示例。1、Source 常用命令1.1、Create-创建 source常用参数archive: 指定 source 的 NAR 包classname: 指定 source 的类名称destination-topic-name.原创 2021-04-01 16:11:30 · 3392 阅读 · 1 评论 -
Pulsar IO简介
1、Pulsar IO引入Apache Pulsar 是业界领先的消息系统。使用消息系统时,一个较为常见的问题就是:将数据移入或移出消息平台的最佳方法是什么?当然,用户可以使用 Pulsar 的 consumer 和 producer API 编写自定义代码,来传输数据。但除此之外,是否还有其他方法呢?以下为用户提出的一些相关问题:要将数据发布到 Pulsar 或使用 Pulsar 中的数据,我应该在 哪里 运行相应程序?要将数据发布到 Pulsar 或使用 Pulsar 中的数据,我原创 2021-04-01 15:31:30 · 367 阅读 · 0 评论 -
Pulsar支持的Connector(Pulsar IO)
1、前言Apache Pulsar 是分布式发布订阅消息系统。优秀的消息系统应该具备完整的周边生态(包括数据库、缓存或其他系统等),与周边生态的集成是检验消息系统的一个重要指标。虽然用户可以使用 Pulsar 消费者和生产者 API 编写代码(例如,从数据库同步数据时,先查询数据,再使用 Pulsar 的 API 将数据发布至 Pulsar),但这种方法耗时费力。因此,Pulsar 提出了 Connector (也称为 Pulsar IO),用于解决 Pulsar 与周边系统的集成问题,帮助用户高效完成原创 2021-04-01 15:08:58 · 1195 阅读 · 1 评论 -
Pulsar的逻辑存储模型
1、BookKeeper将在Apache Pulsar的背景下讨论BookKeeper尽管BookKeeper是一个通用的分布式日志存储解决方案。首先,BookKeeper将数据存储至集群中的节点上,每个BookKeeper节点称为Bookie。其次,Pulsar和BookKeeper都使用Apache Zookeeper来存储元数据和监控节点健康状况。Apache Pulsar、BookKeeper和Zookeeper如下2、Topic&Ledgers&Fragment$En原创 2021-04-01 10:41:27 · 1808 阅读 · 3 评论 -
Pulsar的Topic、Subscription和Cursors工作原理
我们将要简要介绍Topic(主题)、Subsription(订阅)和Cursors(游标)的基本概念不会包含深层次的消息传递方式Topic和Subscription如下消息存储在Topic中。逻辑上一个Topic是日志结构,每个消息都在这个日志结构中有一个偏移量。Apache Pulsar使用游标来跟踪偏移量。生产者将消息发送到一个指定的Topic,Apache Pulsar保证消息一旦被确认就不会丢失(正确的配置和非整个集群故障的情况下)。消费者通过订阅来消费Topic中的消息。订阅是游原创 2021-03-31 21:29:21 · 4386 阅读 · 4 评论 -
Apache Pulsar特性及学习资料包
1、关于PulsarApache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性Pulsar Manager此前,Pulsar 已有监控工具 Dashboard ,但它侧重于对 Pulsar 的简单监控(如搜集并展示 Tenants、Namespaces、Topics 和 Subscriptions原创 2021-03-31 21:21:17 · 792 阅读 · 1 评论