Pulsar
文章平均质量分 90
icepesis
这个作者很懒,什么都没留下…
展开
-
讲讲MQ自带的消费重试-Kafka、Pulsar实践
MQ消费重试的常见手段在使用MQ时,必不可少的需要结合当前场景,考虑消费失败时如何处理。对于消息不重要的场景,失败就失败了,继续往下消费就行。但对于消息重要的场景,就需要有一定的机制去保证消息最终处理成功。机制的手段有很多,大体思路都是,先进行重试,重试一定次数之后就走兜底逻辑。对于重试,可进行固定时间间隔的重试或做间隔时间递增的重试等 对于兜底逻辑,包括消息投递到死信队列、告警、人工补偿、定时对账补偿等下面主要讲如何使用好kafka和pulsar自带的消费重试功能,对于兜底逻辑来说只做异常原创 2021-01-10 01:09:55 · 2000 阅读 · 0 评论 -
BookKeeper存储设计浅析
前言本文作为Pulsar系列的第二篇文章,主要介绍Apache BookKeeper在存储上的设计,主要聚焦于以下两点:BookKeeper的读写流程是怎样的,怎么去存储数据 多副本存储下BookKeeper如何处理一致性问题同时强调下BookKeeper本身是个独立的项目,本文是在Pulsar原理探究过程中对BookKeeper存储设计的系统性学习总结。读写流程设计BookKeeper采用读写分离的设计读写流程示意图:更细化的读写流程图:写流程设计1..原创 2020-12-06 23:27:30 · 1235 阅读 · 0 评论 -
Pulsar入门与架构设计探究
Pulsar简介Pulsar是云原生分布式消息流平台(即可作为消息中间件),最初源于Yahoo,支持Yahoo应用服务140万个主题,日处理超过1000亿条消息。Pulsar于2016年开源并捐赠给Apache软件基金会,现为Apache软件基金会顶级项目。Pulsar的特性如下:支持多租户,通过多租户可为每个租户单独设置认证机制、存储配额、隔离策略等。 具有高吞吐、低延时、强容错等特性 原生支持多集群部署,集群间支持无缝的数据复制(Geo-replication) 高扩展性,能够支..原创 2020-12-03 00:21:23 · 1301 阅读 · 0 评论