otter及canal学习总结

1.同一台机器是否可以配置多个node？（OK，可以的，但是基本没必要，由于node本身可以配置给两个channel来使用，并且可以指定两个源的库同步，因此只

需要将单个node的能量释放即可，除非有必要保证两个node的升级不相互影响）


2.同一个源的不同的库同步是否可以使用同一node来同步？（OK，可以的，但是必须配置两个canal名字，且使用两个pipeline）


3.不同源的两个库是否可以用同一个node来同步？（可以的，但是必须建立两个canal）


4.一个pipeline的两张表可以是两个库吗？（可以的）可以是两个源吗？（不可以）


5.每个node的承载量是多大，支持多大的数据传输速度？(默认配置下，每秒钟10000条数据的内存占有大概200M左右)


6.配置canal的获取数据的自动主备机切换。由于载入是kafka，暂时不需要配置load的主备机切换。


7.使用otter之后，需要安装canal吗？（不需要，otter在node中内嵌canal，且通过界面启动多线程方式启动）


8.node必须在manager创建之后添加nid给node，并且，node配置必须连接manager。在node对应的otter.properties下配置。


9.manager 的安装必须建立两个库，一个otter库用来存储manager的业务配置，包括node等的运行日志等，一个binlog库，用来存储各系统的binlog日志，防

止扯皮，注意这个binlog的实时清除。


10.是否可以使用实时数据同步，需验证以下配置

查看binlog的format方式
（1）show variables like '%binlog_format%';

（2）开启mysql的binlog，在mysql的my.ini中配置

log-bin=mysql-bin #添加这一行就ok

binlog-format=ROW #选择row模式

注意，需要重启mysql

（3）给canal的配置用户，开启binlog dump权限

CREATE USER canal IDENTIFIED BY 'canal'; -- 如果存在用户，不需要创建。
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;


11.一个抽取任务的步骤严格如下，否则有出现无法点击启动的现象。

需要保证先添加了zk配置和node配置。

操作步骤：
1. 添加数据库
a. 源库 jdbc:mysql://10.20.144.25:3306
b. 目标库 jdbc:mysql://10.20.144.29:3306
2. 添加canal
a. 提供数据库ip信息
3. 添加同步表信息
a. 源数据表 test.example
b. 目标数据表 test.example
4. 添加channel
5. 添加pipeline
a. 选择node节点
b. 选择canal
6. 添加同步映射规则
a. 定义源表和目标表的同步关系
7. 启动
8. 测试数据


12.otter可以通过系统配置不同角色用户，来操作和查看系统。