6.Otter操作流程

Otter操作流程

1.步骤

1. 首先要去otter配置相应属性；
2. 其次，配合数仓以及实时kafka部分建表建主题；
3. 配置otter 从库表信息；
4. 开启sqoop倒全量，之后otter开启倒增量；

2.详细流程

1. 先去到从库--即自己的otter库建一张和原始表结构相同的表；
2. 从Otter数据源部分添加master和slave节点信息，包括url,user,pwd等；
3. 从Otter数据表部分添加master和slave表信息，schema为原始库名，其中涉及数据源部分则去选择相应的数据源；
4. 去到canal部分，关联需要同步binlog的表信息，此步骤为第一次同步的数据库进行，配置master的url等信息；
5. 同步管理进行channel设置，在channel下选择otter node节点，然后再去选择刚才配置好的canal信息；
6. 添加表以及我们从Otter-->kafka的程序全类名，添加的表包括源表和目标表；
7. 先去创建好相应的主题，主题名在otter的node节点上配置或者是在ZK节点里配置，数仓部分在平台上建好相应的表；
8. 然后开始执行hbase和hive建表脚本，之后执行sqoop倒全量数据脚本，待数据倒完后，去启动Otter导增量按钮(一般正在执行要停止时需要等到每个小时五分过后)。