otter

1.Otter简介


1.1.项目介绍


名称：otter ['ɒtə(r)]
译意： 水獭，数据搬运工
语言： 纯java开发
定位： 基于数据库增量日志解析，准实时同步到本机房或跨机房的mysql/oracle数据库.


1.2.项目背景


阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。
otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。


1.3.Otter原理


图片来自Otter
db : 数据源以及需要同步到的库
Canal : 用户获取数据库增量日志
manager :　配置同步规则设置数据源同步源等
zookeeper : 协调node进行协调工作
node : 负责任务处理处理接受到的部分同步工作


1.基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请 点击


2.典型管理系统架构，manager(web管理)+node(工作节点)


manager运行时推送同步配置到node节点
node节点将同步状态反馈到manager上
3.基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.


1.4.Otter特性


1.异构库同步


mysql -> mysql/oracle.(目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)
2.单机房同步 (数据库之间RTT < 1ms)


数据库版本升级
数据表迁移
异步二级索引
3.跨机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不，RTT > 200ms)


机房容灾
4.双向同步


避免回环算法(通用的解决方案，支持大部分关系型数据库)
数据一致性算法(保证双A机房模式下，数据保证最终一致性， 亮点)
5.文件同步


站点镜像(进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).
跨机房复制示意图

图片来自网络
数据涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node节点上，多个Node之间通过zookeeper进行协同工作 (一般是Select和Extract在一个机房的Node，Transform/Load落在另一个机房的Node)
node节点可以有failover / loadBalancer. (每个机房的Node节点，都可以是集群，一台或者多台机器)