broker集群

为了增强broker性能和吞吐率,broker一般都是以集群形式出现的。为了某个broker宕机时,数据不丢失,会将每个broker集群点进行横向扩展。

 broker节点集群具有master和slave俩中角色。slave就是对master中数据的备份。master负责处理读写操作请求,而slave只在master挂了之后才会负责读写操作。一个master可以有多个slave,但一个slave只能有一个master。一个master和0个或多个slave为一个broker集群。

broker集群是主备集群,master和salve的对应关系是通过指定相同的brokerName,不同的brokerId指定的。0为master,非0为slave。

broker中master和slave之间的复制策略:

   同步复制:消息写入master后,master会等待slave同步数据成功后才会向producer发送成功ACK。

    异步复制:消息写入broker后,master会立即向producer返回ACK,无需等待slave同步数据成功。异步复制降低了系统的延迟,提高了系统吞吐率。

输盘策略:指broker中的消息的落盘方式,即消息发送到broker内存后消息持久化到磁盘的方式。

  同步刷盘:当消息持久化到broker磁盘后才算成功。

  异步刷盘:当消息写入broker内存后即表示消息写入成功,无需等待消息持久化到磁盘。消息写入到broker的内存,一般是写入到pagecache缓存,返回成功标识,当该缓存中数据达到一定量后,才会一次性写入磁盘。

broker集群模式:

   单master:只有一个master(本质上不能被称为集群),只能在测试中中使用。

   多master:broker集群仅有多个master构成,不存在slave,一个topic的多个queue会平均的分配到多个master节点上。优点:配置简单,在配置为RAID10的磁盘阵列情况下(这种磁盘很可靠,异步丢失少量消息,同步刷盘不丢失消息)时,即使宕机也几乎没有影响。缺点:单机宕机期间,宕机机器上未被消费的消息在该机器重启前不可被消费,即该机器可写入不可读取。

   多master多slave模式-异步模式:broker由多个master构成,每个master又配置了多个slave(配置了RAID磁盘阵列情况下,一个master配置一个slave即可)。master负责处理消息的读写请求,slave仅负责消息的备份和master宕机后及时接替master进行工作。                                                  优点:当master宕机后,slave能自动切换成master。不过由于slave切换为master会有短暂的延迟(毫秒级),所以当master宕机后,可能会存在少量的消息丢失问题。(这是在采用了RAID磁盘阵列的情况下,不然丢失的更多)。

  多master多salve模式-同步模式:同步双写,master和slave都写入成功后才会返回ACK。优点:消息安全性高,不存在消息丢失情况。缺点:master宕机后,slave不能自动切换为master。

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值