mysql数据库双机同步开源软件otter (转发)

最新推荐文章于 2024-09-13 20:12:57 发布

rainyear

最新推荐文章于 2024-09-13 20:12:57 发布

阅读量1.1w

点赞数 3

分类专栏：架构 Linux和分布式系统

Linux和分布式系统同时被 2 个专栏收录

104 篇文章 0 订阅

订阅专栏

架构

38 篇文章 0 订阅

订阅专栏

哎，新项目的 数据库同步方案初步考虑用Mysql自带的双主复制机制，被客户方的dba狠狠的鄙视了，只扔过来一句：不同意，原因：无。

先说下项目情况， 数据库是只用于管理后台供管理员配置使用，不影响任何业务的主流程，单机房可以满足需求。可是客户非要求用双机房双写，本着简单解决问题的想法，我们就打算采用单点写双读。可是结果。。。。郁闷的是，人家都懒得跟我们说一声原因，怎么问都往数据不一致问题上绕，

，单写！额。。。开发工期很紧，我们先开发了，到最后都部署了，又跟客户沟通 数据库同步问题。这次在绕了好几天后，dba终于开口说，原因是Mysql本身的复制机制在跨机房情况下不可靠。

泪奔.......

otter 开源了

，这个时间点太好了，刚好能用上，ye！向otter的开发者致敬！
    otter的wiki页面：https://github.com/alibaba/otter

   otter的环境需要：mysql ，jdk, zookeeper , node , aria2 , manager
     为了防止otter的闪断，我把一些软件上传到了百度云上：
http://pan.baidu.com/share/link?uk=3708161223&shareid=2987646776#dir
     其他的就不说了，直接说安装和使用。
    1 安装mysql, jdk ,zookeeper
       otter只支持5.5及以下版本的Mysql，不支持maridb
       此处假设安装了 数据库A:192.168.85.10:3306
                              数据库B: 192.168.85.11:3306
       jdk，我安装的是7，安装完后，配置环境变量
       zookeeper，可以只安装一个，可以以集群形式安装。
       我现在只安装了一个，zookeeper的地址： 192.168.85.10:2181
    2 安装node和aria2
     node 需要aria2支持，我是在AB机房各安装了一套。

     安装node:
创建目录：mkdir node
    进入目录：cd node
    下载node：
    解压缩：tar zxvf node.deployer-$version.tar.gz
修改node的配置：vi conf/otter.properties
         otter.manager.address =172.20.150.70:1099  ##对用manager中otter.properties的配置otter.communication.manager.port
node的启动/停止：
        cd   bin
      startup.sh/stop.sh

    安装aria2:
     下载aria2:
     解压缩：tar zxvf aria2-$version.tar.gz
     为了方便切换目录：mv aria2-$version aria2
     进入目录： cd aria2
     编译：

./configure

Make

Make install

     把aria2安装后的bin目录下的执行文件添加到环境变量path中
      ( 我本地安装的目录是/usr/local/aria2,安装后 ,bin目录在/usr/local/bin/)

   3 安装manager
     创建目录：mkdir manager
     进入目录：cd manager
     下载：wget https://github.com/alibaba/otter/releases/download/otter-x.y.z/manager.deployer-x.y.z.tar.gz
     解压缩：tar zxvf manager.deployer-$version.tar.gz

      安装manager的 数据库：
      下载初始化sql:wget https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql

进入Mysql中执行：mysql> source /usr/local/otter-manager-schema.sql

   修改manager的配置文件：vi conf/otter.properties
           ## otter manager domain name
           otter.domainName = 172.20.150.70##本地的域名
            ## otter manager http port
           otter.port = 8080 ##对外访问的端口号
            ## jetty web config xml
           otter.jetty = jetty.xml
           ## otter manager database config
           otter.database.driver.class.name = com.mysql.jdbc.Driver
           otter.database.driver.url = jdbc:mysql://192.168.85.10:3308/otter##otter数据的配置

           otter.database.driver.username = canal
           otter.database.driver.password =  canal
            ## otter communication port
            otter.communication.manager.port = 1099##对应Node中的配置
            ## otter communication pool size
            otter.communication.pool.size = 10
            ## default zookeeper address
            otter.zookeeper.cluster.default = 192.168.85.10:2181##zookeeper

           manager的启动/停止：
       cd bin
               tartup.sh/stop.sh
         4 调试
   启动预装好的Mysql,zookeeper,manager.
           4.1 在 manager的界面，添加Node，如下图：
            机器管理—》Node管理

添加完成后，根据添加后的node序号，如下图中，192.168.85.10中对应的序号是1，那么进入10机器下的node目录，执行echo 1 > conf/nid,然后启动node.

                   4.2 添加Zookeeper：
                      机器管理-》Zookeeper管理

                       如图，点击添加按钮，添加内容参考下图：

                 4.3 数据源配置：
                    配置管理-》数据源配置，点击添加按钮
                   数据源配置填写需要同步的两个数据库信息

                     添加内容如下图所示，添加完成后，点击验证连接数据源

   4.4 数据表配置：
                          配置管理-》数据表配置，点击添加按钮。
                          数据表配置需要同步的表的信息

添加 数据库的名称，数据表的名称和数据源名称，并点击验证连接表

   4.5 canal配置：
                        配置管理-》canal配置，点击添加按钮。

canal需要添加两个，每一个对应一个 数据库信息，从配置的 数据库中，拉取bin-log信息。

                     4.5 同步管理：
                        1）添加channel

                     2） channel下需要配置pipeline,点击channel的名字，可以添加pipeline

3）添加完成pipeline后，点击pipeline的名字，添加映射关系，映射关系配置同步的原表和目标表。

4）配置完成后，启动channel.

                          需要注意的是，如果配置的双通道，就是双机房双写，那么需要点击使用文档-》 数据库初始化页面。
                         在双机房的 数据库同时执行初始化SQL.

                  5）启动后，对双机房中的相应表分别进行插入，更新或其他操作，验证双机房同步结果~
                     终于同步了！再次感谢otter的开发者agapple

，否则我还不定在哪边绕呢。

项目背景

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。

otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。

目前同步规模：

同步数据量6亿
文件同步1.5TB(2000w张图片)
涉及200+个数据库实例之间的同步
80+台机器的集群规模

项目介绍

名称：otter ['ɒtə(r)]

译意：水獭，数据搬运工

语言：纯java开发

定位：基于数据库增量日志解析，准实时同步到本机房或跨机房的mysql/oracle数据库.

工作原理

原理描述：

1. 基于Canal开源产品，获取数据库增量日志数据。什么是Canal, 请点击

2. 典型管理系统架构，manager(web管理)+node(工作节点)

a. manager运行时推送同步配置到node节点

b. node节点将同步状态反馈到manager上

3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

什么是canal?

otter之前开源的一个子项目，开源链接地址：http://github.com/alibaba/canal

otter能解决什么？

1. 异构库同步

a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量，目标库可以是mysql或者oracle，取决于canal的功能)

2. 单机房同步 (数据库之间RTT < 1ms)

a. 数据库版本升级

b. 数据表迁移

c. 异步二级索引

3. 跨机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不，RTT > 200ms，亮点)

a. 机房容灾

4. 双向同步

a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)

b. 数据一致性算法 (保证双A机房模式下，数据保证最终一致性，亮点)

5. 文件同步

a. 站点镜像 (进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).

单机房复制示意图：

说明：

a. 数据on-Fly，尽可能不落地，更快的进行数据同步. (开启node loadBalancer算法，如果Node节点S+ETL落在不同的Node上，数据会有个网络传输过程)

b. node节点可以有failover / loadBalancer.

跨机房复制示意图：

说明：

a. 数据涉及网络传输，S/E/T/L几个阶段会分散在2个或者更多Node节点上，多个Node之间通过zookeeper进行协同工作 (一般是Select和Extract在一个机房的Node，Transform/Load落在另一个机房的Node)

b. node节点可以有failover / loadBalancer. (每个机房的Node节点，都可以是集群，一台或者多台机器)

QuickStart

See the page for quick start: QuickStart.

AdminGuide

See the page for admin deploy guide : AdminGuide

一、前奏

本安装步骤是根据目前测试环境已经搭建好的otter部署情况为场景，说明如何安装一个otter环境，生产环境的安装可以此文档为蓝本，做相应的配置修改。文档中所有的截图和配置文件所显示的内容信息都可以从机子上找到。大致部署情况如下：

10.0.30.190：manager、node

10.0.30.201：manager 站点所依赖的mysql数据库

10.0.30.188:部署zookeeper 。

Ps:188机子上也安装了一个node，主要是为集群做准备的，文档中所提到的node安装步骤以安装在190机子上的node为说明对象，集群中其它机器上node的安装步骤类似。

二、Manager网站安装

环境准备

otter的环境需要mysql ，jdk, zookeeper , node , manager

1. otter数据库初始化

otter manager依赖于mysql进行配置信息的存储，所以需要预先安装mysql，并初始化otter manager所需的系统库和表。

登录201的机子，执行source命令导入sql脚本文件：

source otter-manager-schema.sql

执行show databases可以看到脚本创建了一个名字叫otter的数据库

2. zookeeper安装

安装一个zookeeper到188机子（整个otter架构依赖了zookeeper进行多节点调度，所以需要预先安装zookeeper）

manager启动步骤

1. 在190机子上解压缩manager的安装包

mkdir /usr/ottermanager

tar zxvf manager.deployer-4.2.7.tar.gz /usr/ottermanager

2. 修改namager的配置文件信息（/conf/otter.properties）

注：只需要修改标红色的配置

## otter manager网站域名地址 #修改为正确访问ip，生成URL使用

otter.domainName = 10.0.30.190

## otter manager 的web管理后台端口

otter.port = 8085

## jetty web config xml

otter.jetty = jetty.xml

## otter manager 所依赖的数据库配置 ，修改为正确数据库信息

otter.database.driver.class.name = com.mysql.jdbc.Driver

otter.database.driver.url = jdbc:mysql://10.0.30.201:3306/otter

otter.database.driver.username = belle #用户名和密码请DBA配合授权

otter.database.driver.password = belle@belle

## otter communication port（manager和node通讯端口，保留默认1099）

otter.communication.manager.port = 1099

## otter communication pool size

otter.communication.pool.size = 10

## manager依赖的zookeeper 地址

otter.zookeeper.cluster.default = 10.0.30.188:2181

## default zookeeper sesstion timeout = 90s

otter.zookeeper.sessionTimeout = 90000

## otter arbitrate connect manager config

otter.manager.address = ${otter.domainName}:${otter.communication.manager.port}

3. 准备启动

进入安装目录/bin/下，输入：sh startup.sh启动manager web网站。

4. 查看日志

vi logs/manager.log

出现类似日志，代表启动成功：

2013-08-14 13:19:45.911 [] WARN  com.alibaba.otter.manager.deployer.JettyEmbedServer - ##Jetty Embed Server is startup!

2013-08-14 13:19:45.911 [] WARN  com.alibaba.otter.manager.deployer.OtterManagerLauncher - ## the manager server is running now ......

5. 验证

访问： http://10.0.30.190:8085/(详细地址根据步骤2的配置信息)，出现otter的页面，即代表启动成功

初始密码为：admin/admin，即可完成登录. 目前：匿名用户只有只读查看的权限，登录为管理员才可以有操作权限

6. 关闭

sh stop.sh

三、Node 安装

环境准备

otternode会受ottermanager进行管理，所以需要预先安装ottermanager，参见：Manager网站安装

1.生成nid

完成manager安装后，需要在manager页面为node定义配置信息，并生一个唯一id.

a. 首先访问manager web页面”机器管理”菜单，选择“zookeeper管理”子菜单，点击页面“添加”按钮以注册一个zookeeper。

b. 从”node管理”菜单中选择添加node按钮，往manager注册一个node节点信息。

几点说明：

· 机器名称：可以随意定义，方便自己记忆即可

· 机器ip：对应node节点将要部署的机器ip，如果有多ip时，可选择其中一个ip进行暴露. (此ip是整个集群通讯的入口，实际情况千万别使用127.0.0.1，否则多个机器的node节点会无法识别)

· 机器端口：对应node节点将要部署时启动的数据通讯端口，建议值：2088

· 下载端口：对应node节点将要部署时启动的数据下载端口，建议值：9090

· 外部ip ：对应node节点将要部署的机器ip，存在的一个外部ip，允许通讯的时候走公网处理。

· zookeeper集群：为提升通讯效率，不同机房的机器可选择就近的zookeeper集群.

· 机器添加完成后，跳转到机器列表页面，获取对应的机器序号nid

· 通过这两部操作，获取到了node节点对应的唯一标示，称之为nodeid，简称：nid. 记录该nid，后续启动nid时会使用

node启动步骤

1．解压缩node安装包node.deployer-4.2.7.tar.gz

mkdir /usr/ottermanager/nodedeveloper (为方便管理，直接安装在manager目录下)

tar zxvf node.deployer-4.2.7.tar.gz /usr/ottermanager/ nodedeveloper

2．修改配置

a. nid配置 (将环境准备中添加机器后获取到的序号，保存到conf目录下的nid

文件，比如我添加的机器对应序号为1)

echo 1 > conf/nid

b. otter.properties配置修改

打开文件/usr/ottermanager/nodedeveloper/conf/otter.properties

Vi /usr/ottermanager/ nodedeveloper/conf/otter.properties，修改如下内容：

##修改为正确的manager服务地址

otter.manager.address = 10.0.30.190:1099

3．启动node

     进入/usr/ottermanager/nodedeveloper/bin。

            输入命令：sh startup.sh

4．查看日志

打开日志： vi /usr/ottermanager/nodedeveloper/logs/node/node.log

看到如下日志，代表node启动完成:

2013-08-14 15:42:16.886 [main] INFO com.alibaba.otter.node.deployer.OtterLauncher - INFO ## the otter serveris running now ......

5．验证

访问： http://10.0.30.190:8085/node_list.htm，查看对应的节点状态，如果变为了已启动，代表已经正常启动。(ps，如果是未启动，会是一个红色高亮)

6．关闭

sh stop.sh

关闭后，可查看下manager页面，检查下节点状态变为“未启动”

四、附加章节—添加一个从商品库到分销库的数据同步。

场景分析

将10.0.30.131机子上yitian_b2c_db 库（源库）的tbl_commodity_style表数据同步到dms_db 库（目的库）上的tbl_dms_commodity_style表。

由于otter是一个基于binlog的增量日志同步工具，首次同步的时候涉及到历史数据的拷贝，binlog日志位点的设置比较难找。因此对于初始数据的拷贝，采用原始的方法，先在源库创建tbl_dms_commodity_style表，用来临时保存tbl_commodity_style表数据的备份。记录下master的位点信息（作为otter同步任务的初始位置，假设是position1），同时快速备份tbl_commodity_style的数据到tbl_dms_commodity_style。再把临时表tbl_dms_commodity_style的数据恢复到目的库dms_db。

新建的同步任务中引用的canal必须位点设置为position1。如此一来，既能把历史数据导入到目的库的表，又能保证position1后添加的数据能被otter同步到。

具体步骤：

1. 创建基础业务表

dms_db 库和yitian_b2c_db库分别上执行create table脚本，两边同时创建tbl_dms_commodity_style表

2. 业务数据备份

执行mysql 的insertinto tbl_dms_commodity_style select ... 语句将源库的tbl_commodity_style数据备份到源库的tbl_dms_commodity_style表。同时快速记录此时masterstatus 的位点信息，假设为position1。此步骤很重要，要确保及时性，防止出现以下两种情况导致的数据不一致性：

a．先记录位点信息，再备份数据，此时有可能中间数据库执行了inser/update/delete语句。后期同步任务启动的时候，会重复执行了这些语句，有风险。（可选）

b．先备份数据，再记录位点。此时中间插入了数据，由于插入的数据日志位点在我们记录的位点之前，那么后期同步任务启动的时候，会丢失数据。

附图，131master状态：