多副本数据一致性技术分析

文章探讨了MySQL的半同步复制、TiDB的Raft协议、OceanBase的Paxos协议、Pulsar的BookKeeper和ScyllaDB的一致性策略。这些系统通过领导者协调、多数派确认来确保数据一致性,其中Pulsar采取了计算与存储分离的架构。
摘要由CSDN通过智能技术生成

这里数据一致性指数据多副本数据一致的。

MySQL

MySQL通常采用半同步进行主备复制,这时能保证底层数据一致性。

当发生异常时,半同步退化为异步复制,主备数据写入存在延时,存在不一致情况,主实例如果故障,备实例会丢失部分数据。

master将每个事务写入binlog(sync_binlog=1),并发送到slave刷新到磁盘(sync_relay=1),同时主库提交事务(commit)。master等待slave反馈收到relay log,只有收到ack后master才将提交成功结果反馈给客户端。

TiDB

TiKV 利用 Raft 来做数据复制,每个数据变更都会落地为一条 Raft 日志,通过 Raft 的日志复制功能,将数据安全可靠地同步到复制组的每一个节点中。不过在实际写入中,根据 Raft 的协议,只需要同步复制到多数节点,即可安全地认为数据写入成功。

Raft日志复制过程:客户端请求服务端,服务端leader把这条命令作为新的日志条目加入到它的日志中,然后并行地向其他服务器发起 AppendEntries RPC请求 ,如果其他服务器大部分成功复制日志条目并反馈给leader,leader会将这个条目应用到自己的状态机中,然后把执行的结果返回客户端。其他服务器随后也会将这个日志条目应用到自己本地的状态机中。

https://docs.pingcap.com/zh/tidb/stable/tidb-storage#raft-协议

OceanBase

OceanBase使用日志流在多副本之间同步状态。

日志流使用自研的 Paxos 协议将 Redo 日志在本服务器持久化,同时通过网络发送给日志流的从副本,从副本在完成各自持久化后应答主副本,主副本在确认有多数派副本都持久化成功后确认对应的 Redo 日志持久化成功。从副本利用 Redo 日志的内容实时回放,保证自己的状态与主副本一致。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

salahi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值