otter mysql5.6_阿里otter系统部署手册.docx

阿里otter应用

系统部署手册

版本号

日期

作者

备注

0.1

2016-4-29

fashchina

初始

产品说明

名称:otter ['?t?(r)]

译意: 水獭,数据搬运工

语言: 纯java开发

定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。

工作原理

一、原理描述:

1. 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, 请点击

2. 典型管理系统架构,manager(web管理)+node(工作节点)

a. manager运行时推送同步配置到node节点

b. node节点将同步状态反馈到manager上

3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作.

二、什么是canal?

otter之前开源的一个子项目,开源链接地址: HYPERLINK "/alibaba/canal" /alibaba/canal

otter能解决什么?

1. 异构库同步

a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量,目标库可以是mysql或者oracle,取决于canal的功能)

2. 单机房同步 (数据库之间RTT < 1ms)

a. 数据库版本升级

b. 数据表迁移

c. 异步二级索引

3. 异地机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同步,RTT > 200ms,亮点)

a. 机房容灾

4. 双向同步

a. 避免回环算法 (通用的解决方案,支持大部分关系型数据库)

b. 数据一致性算法 (保证双A机房模式下,数据保证最终一致性,亮点)

5. 文件同步

a. 站点镜像 (进行数据复制的同时,复制关联的图片,比如复制产品数据,同时复制产品图片).

初步性能指标

1. 单机房同步

a. 100tps , 延迟100ms

b. 5000tps, 延迟1s

2. 中美异地机房同步

a. 100tps , 延迟2s

b. 5000tps ,延迟10s

ps. 性能指标取决于目标数据库性能,数据大小等多个因素,单机房100b大小,极限tps可以1w+

名词解释

Pipeline:从源端到目标端的整个过程描述,主要由一些同步映射过程组成。

Channel:同步通道,单向同步中一个Pipeline组成,在双向同步中有两个Pipeline组成。

DataMediaPair:根据业务表定义映射关系,比如源表和目标表,字段映射,字段组等。

DataMedia : 抽象的数据介质概念,可以理解为数据表/mq队列定义。

DataMediaSource : 抽象的数据介质源信息,补充描述DateMedia。

ColumnPair : 定义字段映射关系。

ColumnGroup : 定义字段映射组。

Node : 处理同步过程的工作节点,对应一个jvm。

otter的S/E/T/L stage阶段模型

说明:为了更好的支持系统的扩展性和灵活性,将整个同步流程抽象为Select/Extract/Transform/Load,这么4个阶段.

Select阶段: 为解决数据来源的差异性,比如接入canal获取增量数据,也可以接入其他系统获取其他数据等。

Extract/Transform/Load 阶段:类似于数据仓库的ETL模型,具体可为数据join,数据转化,数据Load的

环境准备

1. 操作系统

a. otter为纯java编写,windows/linux均可支持

b. jdk建议使用1.6.25以上的版本,稳定可靠,目前阿里巴巴使用基本为此版本

2. 整个otter同步由manager、node部分组成,需要预先进行安装,

3. otter node依赖于zookeeper进行分布式调度,需要安装一个zookeeper节点或者集群.在manager启动完成后,需要首先定义不同机房的zookeeper机器集群。

网络要求

千兆网络

环境安装

MANAGER的安装

环境准备

1. otter manager依赖于mysql进行配置信息的存储,所以需要预先安装mysql,并初始化otter manager的系统表结构

a. 安装mysql,这里略过。

b. 初始化otter manager系统表

找到安装脚本otter-manager-schema.sql,然后登入MYSQL后执行下面语句:

source otter-manager-schema.sql

source otter-manager-schema.sql

2

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值