DB主从一致性的几种解决方法

DB主从一致性的几种解决方法

起源

现在基本所有的程序中都会用到数据库,而数据库其实就是对所有业务逻辑处理结果的保存,所以不论在什么情况下数据的丢失都不被允许的,最坏的情况也要最小化数据的丢失程度,所以一般情况下,数据源都会至少配有两个节点,一个业务处理使用的节点,一个甚至多个从节点,这些从节点就是我们常说的冷备,业务处理节点(主节点)和备份节点一定的时间间隔内进行数据同步,从而来保证当一个数据源坏掉之后,数据也不会丢失,或着丢失很少(主要看同步的时间间隔)。但是为了提高资源的使用效率,所以有人就提出了,可不可以让冷备也被利用起来,替主节点分担部分压力,所以就提出了读写分离的方案。

读写分离

这里写图片描述
读写分离提高了资源的利用效率的同时也引出了一个问题,就是由于延时(网络传输,操作)而引起的数据库主从不一致的问题,对于这个问题,给一下集中解决方案。


1-半同步复制

主从不一致的原因是延时引起的,所以要消除这个延时的影响,可以从主库进行CUD操作时进行规避,办法就是等主从同步完成之后,主库上的写请求再返回,就是大家常说的“半同步复制”semi-sync。

Created with Raphaël 2.1.0 请求 请求 主库 主库 从库 从库 CUD操作开始 同步 同步完成 CUD操作完成
  • 方案优点:利用数据库原生功能,比较简单
  • 方案缺点:主库的写请求时延会增长,吞吐量会降低

2-数据库中间件

CUD操作
Created with Raphaël 2.1.0 请求 请求 中间件 中间件 主库 主库 从库 从库 CUD操作 路由 同步
R操作
Created with Raphaël 2.1.0 请求 请求 中间件 中间件 主库 主库 从库 从库 R操作 同步未完成 同步完成
  • 方案优点:能保证绝对一致
  • 方案缺点:数据库中间件的成本比较高

3-缓存记录写key法

CUD操作

(1)将某个库上的某个key要发生写操作,记录在cache里,并设置“经验主从同步时间”的cache超时时间,例如500ms
(2)修改数据库

R操作

(1)先到cache里查看,对应库的对应key有没有相关数据
(2)如果cache hit,有相关数据,说明这个key上刚发生过写操作,此时需要将请求路由到主库读最新的数据
(3)如果cache miss,说明这个key上近期没有发生过写操作,此时将请求路由到从库,继续读写分离

  • 方案优点:相对数据库中间件,成本较低
  • 方案缺点:方案缺点:为了保证“一致性”,引入了一个cache组件,并且读写数据库时都多了一步cache操作
  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
要实现GaussDB数据库主从同步,可以使用Python编写一个脚本来完成。下面是一个可能的实现示例: ```python import psycopg2 import psycopg2.extensions def sync_master_slave(master_conn, slave_conn): master_conn.set_isolation_level(psycopg2.extensions.ISOLATION_LEVEL_AUTOCOMMIT) slave_conn.set_isolation_level(psycopg2.extensions.ISOLATION_LEVEL_AUTOCOMMIT) # 获取主库的最新LSN(Log Sequence Number) master_cur = master_conn.cursor() master_cur.execute("SELECT pg_current_wal_lsn()") lsn = master_cur.fetchone()[0] master_cur.close() # 设置从库的同步位置为主库的LSN slave_cur = slave_conn.cursor() slave_cur.execute(f"SELECT pg_stat_replication.sync_replication_slot('{slot_name}', '{lsn}')") slave_cur.close() # 开始流复制 slave_cur = slave_conn.cursor() slave_cur.execute("START_REPLICATION SLOT {slot_name}") slave_conn.commit() slave_cur.close() # 监听从库的状态变化 while True: slave_conn.poll() if slave_conn.notifies: for notify in slave_conn.notifies: if notify.channel == 'state_change' and notify.payload == 'STREAMING': print("从库同步完成") return if __name__ == '__main__': master_conn = psycopg2.connect(dbname='master_db', user='username', password='password', host='master_host') slave_conn = psycopg2.connect(dbname='slave_db', user='username', password='password', host='slave_host') sync_master_slave(master_conn, slave_conn) ``` 在这个示例中,我们使用psycopg2库来连接主库和从库,并进行数据库操作。首先,我们获取主库的最新LSN,然后将从库的同步位置设置为主库的LSN。接下来,我们通过流复制启动从库的同步,最后监听从库的状态变化,直到同步完成。 请注意,这只是一个简单的示例,实际的实现可能会根据具体需求和数据库版本有所不同。同时,还需要根据实际情况进行错误处理、日志记录等操作来保证同步的可靠性和稳定性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值