阿里巴巴开源项目:分布式数据库同步系统otter(解决中美异地机房)

otter是阿里巴巴开源的分布式数据库同步系统,主要解决异地机房数据同步问题,包括单机房和跨机房同步。它基于Canal获取增量日志,通过manager和node节点协同工作,实现准实时同步。otter支持mysql到mysql/oracle的异构库同步,具备双向同步和数据一致性算法,确保数据最终一致性。同时,otter还能进行文件同步,适用于数据库升级、表迁移、站点镜像等多种场景。
摘要由CSDN通过智能技术生成

项目背景

   阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。

   otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。

目前同步规模:

  1. 同步数据量6亿
  2. 文件同步1.5TB(2000w张图片)
  3. 涉及200+个数据库实例之间的同步
  4. 80+台机器的集群规模

项目介绍

名称:otter ['ɒtə(r)]

译意: 水獭,数据搬运工

语言: 纯java开发

定位: 基于数据库增量日志解析,准实时同步到本机房或跨机房的mysql/oracle数据库.   

工作原理

原理描述:

  1.   基于Canal开源产品,获取数据库增量日志数据。 什么是Canal,  请点击

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值