双11异地双活实时数据同步基础设施DRC

最新推荐文章于 2024-02-01 14:48:20 发布
最新推荐文章于 2024-02-01 14:48:20 发布
阅读量1.9k 收藏
点赞数
文章标签： 数据库 DRC 数据同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/46048437
版权

双11异地双活实时数据同步基础设施DRC


基础设施DRC，基于日志流式抓取，回放库表结构变更，多重校验机制保证，基于事务的冲突检测，消息协议优化，保持一致性三级数据存储，预读优化IO，多连续复用和传输压缩，高效的并发复制算法。这是低延迟。主备切换，拓扑变化，心跳跟踪，多维度容灾，这是高可用。在2015年中国数据库技术大会上来自淘...


详细解读 和小伙伴们一起来吐槽

chengying332
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
drc mysql_drc: DRC(Data Replication Center)是唯品会自研的MySQL双向复制方案，主要应用场景是数据库双向复制、单向复制...
weixin_31851979的博客
01-27 466
关于DRCDRC(Data Replication Center)是唯品会自研的MySQL双向复制方案，主要应用场景是数据库双向复制、单向复制。目前DRC在唯品会还未正式使用，正在逐步验证，功能仍在完善中，目前可能存在一些未知问题，如果你需要使用DRC，请评估好相应风险。DRC在实时数据管道(RDP)的基础上，实现了以下功能：支持MySQL实例的数据双向复制。规避双向复制导致的循环复制。检测异常情...
异地多活数据流基础设施DRC --双11支持571亿交易额背后的武器
AlibabaIS的博客
05-25 1518
延瑛 AIS 技术平台开发 数据库专家 本文将简要介绍我在QCON上做的DRC在异地双活的场景设计和应用分享，另外，我将介绍一下DRC在阿里云的使用场景。   DRC(Data Replication Center)是阿里巴巴技术保障部数据库团队自主研发的、数据同步和数据分发的实时数据流服务。这个数据服务在阿里巴巴里已经上线了几年，2014年双十一成功支撑了571亿交易异地双活的
精卫&DRC原理
最新发布
Jak的博客
02-01 1084
b. master数据库发现有slave的io线程链接上时，会为其单独创建一个log dump线程，用于相应slave的io请求从上一次复制结束位置（没有就用io指定起始位置）开始复制当前最新数据给slave的io线程（此时上锁），io线程将接收到的数据写入salve中中继日志relay log文件中；DRC主要解决的就是这两个问题，它具备多种数据库的日志解析能力，包括AliSQL，RDS，Oracle，OB，HBase等，DRC的下游只需要通过DRC client订阅到各种数据库的实时数据。
阿里DRC介绍 zt
u013793650的专栏
10-23 7151
http://pan.baidu.com/s/1mg9o4TM#path=%252FQCon%25E5%258C%2597%25E4%25BA%25AC2015%25EF%25BC%2588PPT%25EF%25BC%2589%252F4%25E6%259C%258823%25E6%2597%25A5%252F%25E4%25BA%2591%25E8%25AE%25A1%25E7%25AE%259
数据库相关中间件收录集
weixin_33923762的博客
10-09 2万+
数据库中间件 这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题： 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地数据同步 应用层通过分表分库中间件访问数据库，包括读操作（Select）和写操作（update, insert和delete等，D...
饿了么多活利器：实时双向复制工具（DRC）
06-06 310
DRC介绍 饿了么的 Data Replicate Center（DRC）项目用于数据双向复制和数据订阅，使用场景如下图： 要点说明： 跨机房的 Mysql 数据复制完全通过 DRC 来完成 还有很多业务团队通过 DRC 来实现数据订阅 目前饿了么100%的跨机房数据复制，90%的数据订阅都通过DRC完成，每天有大量的数据流经DRC。复制延迟保持在1...
大数据开发平台-数据同步服务
colorant的专栏
09-21 1万+
同步一切
DRC，为什么我们要走最难的路
weixin_33728268的博客
01-05 1369
作者：天羽 我一直深信，“不是因为有了机会才争取，而是因为争取了才有机会；不是因为会了才去做，而是因为做了才能会；不是因为拥有了才付出，而是因为付出了才拥有！” DRC是什么？ DRC(Data Replication Center)是阿里技术保障-数据库技术团队自主研发的数据流产品，支持异构数据库实时同步，数据记录变更订阅服务。为跨域实时同步、实...
DRC（Data Replicate Center）
GZHarryAnonymous的博客
10-18 1214
DRC（Data Replicate Center） DRC用来做什么？ 数据双向复制和数据订阅。 比如：跨机房的 Mysql 数据复制。 比如：数据订阅，监听数据库实时变更情况。 DRC设计目标？ 1. 实时双向数据复制，延时 < 1s ，并能够解决双向修改时的数据冲突。 2. 数据变更订阅，能够在DB数据发生变化时通知到相关订阅方。 3. 高度可靠和保持顺序，不能丢失数据，也不能因为错乱执行顺序导致数据错误。 DRC主体设计？ 总体架构设计？ DRC核心能力就是 数据获取 和 投递。（有点
干货 | 携程异地多活-MySQL实时双向（多向）复制实践
勇往直前的专栏
05-29 917
作者简介 Roy，携程软件技术专家，负责MySQL双向同步DRC和数据库访问中间件DAL的开发演进，对分布式系统高可用设计、数据一致性领域感兴趣。 一、前言 携程内部MySQL部署采用多机房部署，机房A部署一主一从，机房B部署一从，作为DR（Disaster Recovery）切换使用。当前部署下，机房B部署的应用需要跨机房进行写操作；当机房A出现故障时，DBA需要手动对数据库进行DR切换。 为了做到真正的数据异地多活，实现MySQL同机房就近读写，机房故障时无需进行数据库DR操作，只进行流量切.
如何实现异地双活?
weixin_44518552的博客
05-10 2852
1、什么是异地双活？ 在两个城市的机房分别部署整套应用，且访问本地存储。这样做的目的，异地部署是为了容灾，提高系统可用性，访问本地存储是防止远距离访问带来的网络延迟、网络质量不佳的问题，所以把本地存储均为主库。 但带来新的问题：怎么解决两个机房都是主库的情况下，数据一致性的问题? 2、存储双主架构，如何同步数据？ 方案：使用/开发 数据同步中间件 实现双向同步功能，借助跨城专线 有一些存储技术本身提供双主架构，如Mysql，支持双向复制数据，但使用场景较少。 而Redis、MongoDB、RabbitMQ、
DRC实践
燕窝
06-08 2085
DRC简介 DRC(Data Replication Center)是我在阿里听过的一个概念，它的业务域是支持异构数据库实时同步，数据记录变更订阅服务。为跨域实时同步、实时增量分发、异地双活、分库分表等场景提供产品级的解决方案。支持异地多活、大数据实时抽取、搜索实时更新数据、数据表结构重构、多视图数据存储、大屏实时刷新等。DRC在阿里服务了数万个实时通道，已经成为阿里的基础设施，重要性不言而喻。 DRC需要保障数据库的事务一致性，包括DDL（表结构变更）也可以进行同步或过滤。而DBA天生就在这个坑里，绝对
数据库迁移同步 | 两地三中心到异地双活演变及关键技术探讨
05-06 1641
冲突解决是异地多活和分布式数据库面临的通用问题，需要在业务架构上尽量避免。DBMotion在数据库同步的时候提供了两种机制，三种策略来辅助客户检测冲突和设置冲突解决策略。
DRC原理解析
just for you
03-27 1万+
拐点1是由DRC_KNEE_IP 和 DRC_KNEE_OP决定的，高于拐点DRC_HI_COMP起作用，低于拐点DRC_LO_COMP 起作用。 对于不同的DRC表现，可以设置不同的压缩率。压缩率为1时代表没有压缩，输出信号和输入信号的变化幅度相同。 这就像在输入和输出信号之间有一个固定增益一样。压缩率为0时对于变化的输入信号，拥有固定的输出幅度。这个 是动态电平控制的功能。在0和
数据同步
bingoabin
02-22 1442
1. 应用场景 业务数据发展到一定水平，需要将大部分冷热数据从熟悉的DB迁移到其他存储进行复杂查询和分析 分库分表后，某些报表类查询无法工作，需要汇总到单库表进行操作 分库分表有多个维度，需要拷贝多份数据达成冗余 通过伪数据共享（没办法引入MQ、无法共享库表）进行业务改造 慢存储–&amp;gt;Cache之间的同步 不停服数据迁移/scheme变更 导数据导数据 很多时候，DataBus提供的仅仅...
异地多活场景下的数据同步之道
猎户星座
01-25 1692
在当今互联网行业，大多数人互联网从业者对"单元化"、"异地多活"这些词汇已经耳熟能详。而数据同步是异地多活的基础，所有具备数据存储能力的组件如：数据库、缓存、MQ等，数据都可以进行同步，形成一个庞大而复杂的数据同步拓扑。 本文将先从概念上介绍单元化、异地多活、就近访问等基本概念。之后，将以数据库为例，讲解在数据同步的情况下，如何解决数据回环、数据冲突、数据重复等典型问题。 1 什么是单元化 如果仅仅从"单元化”这个词汇的角度来说，我们可以理解为将数据划分到多个单元进行存储。"单元"是一个抽象的概念，.
异地多活（异地双活）实践经验
热门推荐
HiPhone运维之道
08-31 2万+
异地多活（异地双活）是最近业界讨论比较多的话题，特别是前一阵子支付宝机房光纤故障和携程网数据库丢失之后，更加唤起了技术人员们对异地容灾的考虑。 而异地多活比异地容灾更高一级，因为异地容灾仅仅是一个冷备的概念，而异地多活却是指有两个或者多个可以同时对外服务的节点，任意一个点挂了，也可以迅速切换到其他节点对外服务，节点之间的数据做到准实时同步。 网上看了很多技术分享，总结了以下实践
阿里云技术动态：Xen漏洞热补丁修复、异地双活、ODPS新功能与金融互联网
啊啊啊啊2
04-08 285
本报道对2015年QCon北京大会云计算高可用架构设计与实践专场的内容进行概述。本专场的四位分享者均来自阿里云，分别是阿里云虚拟化技术总监张献涛（旭卿），阿里巴巴数据库专家傅翠云，阿里巴巴ODPS和iDST产品经理韦啸，以及阿里云金融行业资深架构师刘刚。本专场的分享可视为了解阿里云技术现状的渠道。\u0026#xD;\n\u0026#xD;\n解析阿里云Xen Hypervisor Hotfix技...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值