mysql主从canal_mysql同步之otter/canal环境搭建完整详细版

这一篇详细介绍otter/canal环境搭建以及当同步出现异常时如何排查。本文主要参考https://blog.csdn.net/wudufeng/article/details/78688240搭建，出现异常时，主要参考了otter的官方文档，时候阅读官方文档的时候，发现大家还是可以直接参考官方文档吧，本文和https://blog.csdn.net/wudufeng/article/details/78688240基本上下列几个官方文档的整合。只不过文本会包含一些额外的阐述和解释以便更好的理解上下文。

总的来说，搭建DEMO式可用的otter环境很简单，关键在于HA和异常时如何让他快速恢复、压测时的延时如何尽可能短,TPS尽可能高。

https://github.com/alibaba/otter/wiki/Introduction

https://github.com/alibaba/otter/wiki/Manager_Quickstart

https://github.com/alibaba/otter/wiki/Node_Quickstart

https://github.com/alibaba/otter/wiki/Adminguide

https://github.com/alibaba/otter/wiki/Manager%E9%85%8D%E7%BD%AE%E4%BB%8B%E7%BB%8D

https://github.com/alibaba/otter/wiki/Manager%E4%BD%BF%E7%94%A8%E4%BB%8B%E7%BB%8D

https://github.com/alibaba/otter/wiki/%E6%98%A0%E5%B0%84%E8%A7%84%E5%88%99%E9%85%8D%E7%BD%AE

https://blog.csdn.net/wudufeng/article/details/78688240

https://github.com/alibaba/otter/wiki/%E6%98%A0%E5%B0%84%E8%A7%84%E5%88%99%E9%85%8D%E7%BD%AE(对于自定义扩展来说，这个文档是重点)

https://github.com/alibaba/otter/wiki/Otter%E6%89%A9%E5%B1%95%E6%80%A7

https://github.com/alibaba/otter/wiki/Otter%E9%AB%98%E5%8F%AF%E7%94%A8%E6%80%A7

otter的总体架构

otter强依赖于canal，并对canal的配置有一定的约束。也正是因为强约束，在node中集成了canal，canal作为node的线程运行，使用otter搭建mysql同步环境不需要先手工搭建canal。在开始进入搭建环节之前，建议先看下术语，除非很清楚了，不然相信我，你还是要回过头来看的。

Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成

Channel：同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成

DataMediaPair：根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等

DataMedia : 抽象的数据介质概念，可以理解为数据表/mq队列定义

DataMediaSource : 抽象的数据介质源信息，补充描述DateMedia

ColumnPair : 定义字段映射关系

ColumnGroup : 定义字段映射组

Node : 处理同步过程的工作节点，对应一个jvm

他们之间的关系为：

下面进入正题，otter的搭建。

otter搭建

环境准备

从上图和otter文档可知，otter/canal均使用java开发，配置信息存储在mysql中，同步和HA信息在zk中。所以我们需要先安装下列包：

jdk 1.8

zk 3.4.x 参考https://zookeeper.apache.org/doc/r3.4.12/zookeeperStarted.html

aria2。yum install aria2   ## aria2(官网) 是一款开源、轻量级的多协议命令行下载工具，支持 HTTP/HTTPS、FTP、SFTP、BitTorrent 和 Metalink 协议，拥有众多第三方支持插件，被誉为「下一代下载工具」和「下载神器」，然而由于安装配置复杂，挡住了许多人的使用。参考http://blog.sina.com.cn/s/blog_6bf2cd8a0102x3w2.html

otter的安装包以及脚本：

从https://github.com/alibaba/otter/releases下载，例如：

下载并分别解压到/usr/local/app/node，/usr/local/app/manager目录，如下：