数据交换平台的双内存设计

一、数据交换平台

数据交换平台的项目目的,就是为了解决异构数据库之间的数据交换问题。

这个平台的设计,参考了淘宝开源的DataX、大众点评的Wormhole,等,受到的启发很大。

项目由小到大,逐步形成平台化发展,几乎汇总了公司后台db之间的所有数据同步,任务个数有近500个,每天数据量达3亿。

目前,平台运行稳定,推广部署到其他分公司。趁这个机会,整理了一些文档,拿出来分享,也算是回馈感恩吧。


上一篇文档,说了一些需求和初步设计。

这一篇重点说下,两块共享内存的设计细节,直接上图。

二、任务实时数据:Shmrt




三、任务详细参数:Shmtd




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值