zookeeper,kafka,redis等分布式框架的主从同步策略

在互联网行业中,分布式的框架,我们经常用的有zookeeper,kafka,redis等,怎么使用,我们大多数人都是知道的,关于怎么做到主从同步,每种工具的方式都是不同的。

Kafka的主从同步ISR
kafka的主从同步,主要是针对它的broker来说。

在kafka的broker中,同一个topic可以被分配成多个Partition,每个Partition的可以有一个或者多个replicas(备份),即会有一个leader以及0到多个Follower,在consumer读取数据的时候,只会从Leader上读取数据,Follower只是在Leader宕机的时候来替代Leader,主从同步有两种方式:同步复制和异步复制,Kafka采用的是中间策略ISR(In Sync Replicas)。

Kafka的ISR策略
在有数据写上Leader的时候,Leader会查看Follower组成的ISR列表,并且符合以下两点才算是属于ISR列表:

1、broker可以维护和zookeeper的连接,zookeeper通过心跳机制检查每个节点的连接

2、如果节点是个follow它必须能及时同步Leader的写操作,不能延时太久。

当有写消息的时候,我们可以根据配置做如下配置:

request.required.acks参数的设置来进行调整:
0 ,相当于异步发送,消息发送完毕即offset增加,继续生产;相当于At most once
1,leader收到leader replica 对一个消息的接受ack才增加offset,然后继续生产;
-1,leader收到所有replica 对一个消息的接受ack才增加offset,然后继续生产
Zookeeper的主从同步ZAB
Zookeeper的zab策略脱胎于Paxos算法,默认情况下,zk中写数据时,要有一半以上的从节点写入成功,才算是写入成功。

Redis的主从同步
redis因为是要提升性能,所以直接采用的异步复制,当在Master上写入数据后直接返回,然后把数据快照广播给Slave,让所有的Slaves去执行操作
--------------------- 

原文:https://blog.csdn.net/lz710117239/article/details/80316095 
 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值