qq_1434749602
码龄10年
求更新 关注
提问 私信
  • 博客:7,285
    7,285
    总访问量
  • 7
    原创
  • 90
    粉丝
  • 15
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
加入CSDN时间: 2015-12-19
博客简介:

qq_33428967的博客

查看详细资料
个人成就
  • 获得153次点赞
  • 内容获得1次评论
  • 获得128次收藏
  • 博客总排名315,326名
  • 原力等级
    原力等级
    1
    原力分
    70
    本月获得
    0
创作历程
  • 7篇
    2024年
成就勋章
TA的专栏
  • Pulsar
    7篇

TA关注的专栏 0

TA关注的收藏夹 0

TA关注的社区 1

TA参与的活动 0

创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

90人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

Apache BookKeeper源码分析-recover原理

因为从事Pulsar研发工作,因此本文从pulsar层面介绍Bookkeeper中recover操作的重要性。Pulsar中利用Bookkeeper存储消息,架构图如下:pulsar中broker作为bk client创建topic对应的ledger,并持续写入消息,关闭ledger再创建新的ledger并写入,如此往复。下面通过两个场景来引入recover操作的作用。
原创
博文更新于 2024.11.03 ·
1137 阅读 ·
10 点赞 ·
0 评论 ·
9 收藏

Apache Pulsar消息清理流程源码分析

示例:TTL策略指消息在指定时间未被用户Ack时会有broker主动Ack掉,由于Retention策略不会清理未Ack的消息,因此TTL策略很有必要。TTL策略逻辑由定时任务周期执行,代码如下:周期时间由messageExpiryCheckIntervalInMinutes控制,默认值为5分钟。producer注册到broker是通过CommandProducer请求完成的,broker处理该请求时会加载对应topic至topics内。同时consumer注册到broker是通过CommandSu
原创
博文更新于 2024.11.03 ·
1478 阅读 ·
18 点赞 ·
0 评论 ·
9 收藏

Apache Pulsar负载均衡模块原理与源码分析

负载均衡对于一个分布式系统而言是不可或缺的重要模块,Apache Pulsar 实现了 Broker 无需手工干预的动态负载均衡,得益于 Pulsar 在设计之初从架构上分离了存储层和计算层,可以更加灵活地分配 Broker 与 Topic 的映射关系。
原创
博文更新于 2024.11.03 ·
780 阅读 ·
24 点赞 ·
0 评论 ·
27 收藏

Apache Pulsar副本放置策略原理与源码分析

在Pulsar中消息以entry的形式存储在ledger中,存储时ledger以多副本的形式存储在多个Bookie中,将ledger存储在bookkeeper集群的哪些bookie即是由副本放置策略算法决定,副本放置策略由bookie客户的控制,在Pulsar中Bookie客户端有两种方式读写数据。
原创
博文更新于 2024.09.24 ·
985 阅读 ·
30 点赞 ·
0 评论 ·
22 收藏

Apache Pulsar消息去重原理与源码分析

例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
原创
博文更新于 2024.08.18 ·
869 阅读 ·
14 点赞 ·
0 评论 ·
12 收藏

Apache Pulsar 消息确认机制原理与源码分析

At Most Once:指消息最多只被传递一次,但有可能出现消息丢失的情况。这种保证方式适用于对数据可靠性和一致性要求不高的场景。At Least Once:消息确保至少被处理一次,但由于系统设计或不可抗力导致的处理失败,可能会出现重复处理的情况。大多数常用的消息队列,如RocketMQ、RabbitMQ和Kafka,都默认提供“至少一次”的保证。Pulsar默认也是。
原创
博文更新于 2024.08.18 ·
1167 阅读 ·
27 点赞 ·
0 评论 ·
23 收藏

Apache BookKeeper源码分析-AutoRecovery模块原理

对于OPEN状态的ledger,当>=qa数量的bookie下线,如果无消息写入或者写入频次很低,会等到写入请求到来时才会触发报错创建新的ledger。如果在此之前该ledger从broker A分配到Broker B会触发recover,但ledger的多个bookie节点(>=2)已下线因此recover必定失败,出现异常ledger(即异常topic)。当e=3,qw=3,qa=2时,Bookkeeper承诺entry存储的副本数为2或3。注:下文按e=3,qw=3,qa=2策略展开。
原创
博文更新于 2024.06.30 ·
865 阅读 ·
30 点赞 ·
1 评论 ·
26 收藏