RocketMQ同步复制和异步复制

如果一个Broker组有Master和Slave,消息需要从Master复制到Slave上,有同步和异步两种复制方式。

1)同步复制

同步复制方式是等Master和Slave均写成功后才反馈给客户端写成功状态;

在同步复制方式下,如果Master出故障,Slave上有全部的备份数据,容易恢复,但是同步复制会增大数据写入延迟,降低系统吞吐量。

2)异步复制

异步复制方式是只要Master写成功即可反馈给客户端写成功状态。

在异步复制方式下,系统拥有较低的延迟和较高的吞吐量,但是如果Master出了故障,有些数据因为没有被写入Slave,有可能会丢失;

3)配置

同步复制和异步复制是通过Broker配置文件里的brokerRole参数进行设置的,这个参数可以被设置成ASYNC_MASTER、SYNC_MASTER、SLAVE三个值中的一个。

/opt/rocket/conf/broker.conf文件:Broker的配置文件

参数名

默认值

说明

listenPort

10911

接受客户端连接的监听端口

namesrvAddr

null

nameServer 地址

brokerIP1

网卡的 InetAddress

当前 broker 监听的 IP

brokerIP2

跟 brokerIP1 一样

存在主从 broker 时,如果在 broker 主节点上配置了 brokerIP2 属性,

broker 从节点会连接主节点配置的 brokerIP2 进行同步

brokerName

null

broker 的名称

brokerClusterName

DefaultCluster

本 broker 所属的 Cluser 名称

brokerId

0

broker id, 0 表示 master,其他的正整数表示 slave

storePathCommitLog

$HOME/store/commitlog/

存储 commit log的路径

storePathConsumerQueue

$HOME/store/consumequeue/

存储 consume queue 的路径

mapedFileSizeCommitLog

1024 * 1024 * 1024(1G)

commit log 的映射文件大小

deleteWhen

04

在每天的什么时间删除已经超过文件保留时间的 commit log

fileReserverdTime

72

以小时计算的文件保留时间

brokerRole

ASYNC_MASTER

SYNC_MASTER或者ASYNC_MASTER或者SLAVE

SYNC_MASTER表示当前broker是一个同步复制的Master。

ASYNC_MASTER表示当前broker是一 个异步复制的Master。

SLAVE表示当前borker是一个Slave。

flushDiskType

ASYNC_FLUSH

SYNC_FLUSH/ASYNC_FLUSH

SYNC_FLUSH 模式下的 broker 保证在 收到确认生产者之前将消息刷盘。

ASYNC_FLUSH 模式下的 broker 则利 用刷盘一组消息的模式,可以取得更好的性能。

4)总结

实际应用中要结合业务场景,合理设置刷盘方式和主从复制方式,尤其是SYNC_FLUSH方式,由于频繁地触发磁盘写动作,会明显降低性能。通常情况下,应该把Master和Save配置成ASYNC_FLUSH的刷盘方式,主从之间配置成SYNC_MASTER的复制方式,这样即使有一台机器出故障,仍然能保证数据不丢,是个不错的选择。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值