数据迁移工具/平台大全

最近在做数据迁移的事,调研发现这方面的资料非常多,这里Mark一下,6月底之前把所有工具试用一遍

参考资料

DataLink是一个满足各种异构数据源之间的实时增量同步,分布式、可扩展的数据交换平台。
1、神州优车:https://github.com/ucarGroup/DataLink
08年左右,阿里巴巴开始尝试MySQL的相关研究,并开发了基于MySQL分库分表技术的相关产品,Cobar/TDDL(目前为阿里云DRDS产品),解决了单机Oracle无法满足的扩展性问题,当时也掀起一股去IOE项目的浪潮,愚公这项目因此而诞生,其要解决的目标就是帮助用户完成从Oracle数据迁移到MySQL上,完成去IOE的第一步.
2、alibaba:https://github.com/alibaba/yugong
早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。
3、https://github.com/alibaba/canal
基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统
4、https://github.com/alibaba/otter
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
5、https://github.com/alibaba/datax
6、https://github.com/linkedin/databus(几年没更新了)
7、https://maxwells-daemon.io
8、https://github.com/apache/kafka
9、https://github.com/vmware/tungsten-replicator(找不到)
https://sourceforge.net/projects/tungsten-replicator.mirror/
10、https://github.com/whitesock/open-replicator
11、http://www.symmetricds.org

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值