双11异地双活实时数据同步基础设施DRC

最新推荐文章于 2025-01-17 09:31:30 发布
转载 最新推荐文章于 2025-01-17 09:31:30 发布 · 158 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/u/856019/blog/420649
文章标签：

#数据库

本文详细解读了数据库技术大会上的低延迟实时数据同步基础设施DRC，包括其核心组件如日志流式抓取、事务冲突检测等，并探讨了高可用性的实现策略，如主备切换、多维度容灾等。

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

162510_RMLi_856019.jpg

双11异地双活实时数据同步基础设施DRC


基础设施DRC，基于日志流式抓取，回放库表结构变更，多重校验机制保证，基于事务的冲突检测，消息协议优化，保持一致性三级数据存储，预读优化IO，多连续复用和传输压缩，高效的并发复制算法。这是低延迟。主备切换，拓扑变化，心跳跟踪，多维度容灾，这是高可用。在2015年中国数据库技术大会上来自淘...


详细解读 和小伙伴们一起来吐槽


转载于:https://my.oschina.net/u/856019/blog/420649

DRC（Data Replicate Center）
GZHarryAnonymous的博客
10-18 1525
DRC（Data Replicate Center） DRC用来做什么？ 数据双向复制和数据订阅。 比如：跨机房的 Mysql 数据复制。 比如：数据订阅，监听数据库实时变更情况。 DRC设计目标？ 1. 实时双向数据复制，延时 < 1s ，并能够解决双向修改时的数据冲突。 2. 数据变更订阅，能够在DB数据发生变化时通知到相关订阅方。 3. 高度可靠和保持顺序，不能丢失数据，也不能因为错乱执行顺序导致数据错误。 DRC主体设计？ 总体架构设计？ DRC核心能力就是 数据获取 和 投递。（有点
数据库迁移同步 | 两地三中心到异地双活演变及关键技术探讨
05-06 1998
冲突解决是异地多活和分布式数据库面临的通用问题，需要在业务架构上尽量避免。DBMotion在数据库同步的时候提供了两种机制，三种策略来辅助客户检测冲突和设置冲突解决策略。
异地多活数据流基础设施DRC --双11支持571亿交易额背后的武器
AlibabaIS的博客
05-25 1643
延瑛 AIS 技术平台开发 数据库专家 本文将简要介绍我在QCON上做的DRC在异地双活的场景设计和应用分享，另外，我将介绍一下DRC在阿里云的使用场景。   DRC(Data Replication Center)是阿里巴巴技术保障部数据库团队自主研发的、数据同步和数据分发的实时数据流服务。这个数据服务在阿里巴巴里已经上线了几年，2014年双十一成功支撑了571亿交易异地双活的
Redis 异地双活实战
mxt51220的博客
01-05 2900
延迟是最致命的，众所周知redis的写入速度是非常高的，通常一个redis命令的写入是1ms以内，但是假如同步双写，则写入异地机房的时长会由两机房的物理距离决定，根据饿了么双活的测算，北京-上海的延迟大约为30ms，那这个异地的延迟是30倍，假设业务原先写入该redis命令的时间是1ms，那双写后变为31ms，显然这是无法接受的。双写，顾名思义就是两个机房同时写入，即在双活项目中，一个redis的命令写入本机房redis集群的同时，会同时写入另外一个机房的redis集群。-1命令主动请求全量同步。
MySQL异地多活的数据双向复制方案.docx
10-14
MySQL 异地多活的数据双向复制方案是解决异地多活背景下的数据同步问题的解决方案。该方案的主要目标是实现北京机房和上海机房之间的数据双向复制，以确保数据的一致性和高可用性。 异地多活的背景是饿了么公司业务...
陈永庭 - 饿了么异地多活数据实施-DRC.pdf
09-22
本文主要介绍了陈永庭在饿了么异地多活数据实施项目中的角色、贡献以及整个项目的背景、技术架构和运行状况。陈永庭自2016年6月加入饿了么，担任框架工具部高级架构师，并参与了异地多活项目的调研、设计和实施工作...
mysql 异地双活_饿了么异地双活数据库实战
weixin_32304579的博客
01-19 1395
我今天的分享是饿了么在数据库和多活数据库这块的实战经历，供大家参考。主要围绕以下五点进行分享：多活当中的难点多活的架构数据库改造DBA 挑战收益与展望多活当中的难点我们先来看一下多活的第一个难点：要考虑做多活到底是同城的多活还是异地的多活。跨地域网络延时是现阶段很难突破的点，因为饿了么面临的是异地的多活，所以我们需要基于延时这个前提来考虑方案。从北京到上海中间有 30 毫秒的延迟，这个会带来什么问...
drc mysql_drc: DRC(Data Replication Center)是唯品会自研的MySQL双向复制方案，主要应用场景是数据库双向复制、单向复制...
weixin_31851979的博客
01-27 600
关于DRCDRC(Data Replication Center)是唯品会自研的MySQL双向复制方案，主要应用场景是数据库双向复制、单向复制。目前DRC在唯品会还未正式使用，正在逐步验证，功能仍在完善中，目前可能存在一些未知问题，如果你需要使用DRC，请评估好相应风险。DRC在实时数据管道(RDP)的基础上，实现了以下功能：支持MySQL实例的数据双向复制。规避双向复制导致的循环复制。检测异常情...
如何实现异地双活?
weixin_44518552的博客
05-10 3163
1、什么是异地双活？ 在两个城市的机房分别部署整套应用，且访问本地存储。这样做的目的，异地部署是为了容灾，提高系统可用性，访问本地存储是防止远距离访问带来的网络延迟、网络质量不佳的问题，所以把本地存储均为主库。 但带来新的问题：怎么解决两个机房都是主库的情况下，数据一致性的问题? 2、存储双主架构，如何同步数据？ 方案：使用/开发 数据同步中间件 实现双向同步功能，借助跨城专线 有一些存储技术本身提供双主架构，如Mysql，支持双向复制数据，但使用场景较少。 而Redis、MongoDB、RabbitMQ、
DRC实践
燕窝
06-08 2841
DRC简介 DRC(Data Replication Center)是我在阿里听过的一个概念，它的业务域是支持异构数据库实时同步，数据记录变更订阅服务。为跨域实时同步、实时增量分发、异地双活、分库分表等场景提供产品级的解决方案。支持异地多活、大数据实时抽取、搜索实时更新数据、数据表结构重构、多视图数据存储、大屏实时刷新等。DRC在阿里服务了数万个实时通道，已经成为阿里的基础设施，重要性不言而喻。 DRC需要保障数据库的事务一致性，包括DDL（表结构变更）也可以进行同步或过滤。而DBA天生就在这个坑里，绝对
精卫&DRC原理
Jak的博客
02-01 1915
b. master数据库发现有slave的io线程链接上时，会为其单独创建一个log dump线程，用于相应slave的io请求从上一次复制结束位置（没有就用io指定起始位置）开始复制当前最新数据给slave的io线程（此时上锁），io线程将接收到的数据写入salve中中继日志relay log文件中；DRC主要解决的就是这两个问题，它具备多种数据库的日志解析能力，包括AliSQL，RDS，Oracle，OB，HBase等，DRC的下游只需要通过DRC client订阅到各种数据库的实时数据。
阿里DRC介绍 zt
u013793650的专栏
10-23 7408
http://pan.baidu.com/s/1mg9o4TM#path=%252FQCon%25E5%258C%2597%25E4%25BA%25AC2015%25EF%25BC%2588PPT%25EF%25BC%2589%252F4%25E6%259C%258823%25E6%2597%25A5%252F%25E4%25BA%2591%25E8%25AE%25A1%25E7%25AE%259
数据库相关中间件收录集
热门推荐
weixin_33923762的博客
10-09 2万+
数据库中间件 这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题： 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地数据同步 应用层通过分表分库中间件访问数据库，包括读操作（Select）和写操作（update, insert和delete等，D...
开源项目DRC常见问题解决方案
最新发布
gitblog_00528的博客
01-17 462
开源项目DRC常见问题解决方案 一、项目基础介绍 DRC（Data Replication Center）是唯品会自研的MySQL双向复制方案，主要用于实现数据库的双向复制和单向复制。该项目基于实时数据管道（RDP）技术，提供了一种高效的数据同步方案。DRC支持多线程重放binlog数据，并能够自动处理数据冲突，确保两端数据的一致性。项目主要使用的编程语言是Go。 二、新手常见问题及解决步骤 问题...
饿了么多活利器：实时双向复制工具（DRC）
06-06 395
DRC介绍 饿了么的 Data Replicate Center（DRC）项目用于数据双向复制和数据订阅，使用场景如下图： 要点说明： 跨机房的 Mysql 数据复制完全通过 DRC 来完成 还有很多业务团队通过 DRC 来实现数据订阅 目前饿了么100%的跨机房数据复制，90%的数据订阅都通过DRC完成，每天有大量的数据流经DRC。复制延迟保持在1...
大数据开发平台-数据同步服务
colorant的专栏
09-21 1万+
同步一切
DRC，为什么我们要走最难的路
weixin_33728268的博客
01-05 1595
作者：天羽 我一直深信，“不是因为有了机会才争取，而是因为争取了才有机会；不是因为会了才去做，而是因为做了才能会；不是因为拥有了才付出，而是因为付出了才拥有！” DRC是什么？ DRC(Data Replication Center)是阿里技术保障-数据库技术团队自主研发的数据流产品，支持异构数据库实时同步，数据记录变更订阅服务。为跨域实时同步、实...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值