假设我们有个需要:需要把昆山嘉民仓wms库的t_inventory_bin表数据,同步到数据平台的picking库t_inventory_bin表中。
我们按以下步骤进行配置
一、配置数据源
1.登录otter,进入配置管理里的数据源配置页面,点击页面左下方的添加按钮(如果没有此按钮,请检查是否登录,或者账号是否具有权限)
2.填写数据源信息,验证通过后,点击保存
3.把目标库的数据源也配置一下
二、配置数据表
1.进入配置管理-数据表配置页面,点击添加按钮
2.输入需同步的数据表,验证通过后,点击保存
3.同样,把目标数据库也配置一下
三、配置一个同步的canal通道
1.进入配置管理-canal配置页面,点击添加按钮,新增一个canal通道
2.填写信息,点击保存
需要注意的是:(1)数据库地址及数据库账号为你需要同步的数据源的地址及有权限的账号。比如,在此示例中,我们的数据源是嘉民仓,因此我们填写的是嘉民仓的数据库ip
(2)位点自定义设置如果开启,则表示此通道将从你配置的某个binlog节点开始同步,在需要历史数据的全量模式下,此值需要设定。若是不需要历史数据的增量模式,则无需开启位点设置
四、配置channel
1.进入同步管理页面,点击添加按钮,新增一个channel
2.填写配置信息,点击保存。需要注意的是,当前版本的otter应该是仅支持行记录模式的。
2.点击我们刚刚添加的channel,进入pipeline管理页面,点击添加按钮添加一个pipeline。
此页面有两点需要注意,一个是并行度的值,并行度代表了这个pipeline中的滑动窗口的数量,亦可以理解成并行同步的线程数。如果在强时序业务的情况下,可以选择并行度设置为1
另一个需要注意的点就是高级设置中的ddl同步及ddl异常跳过选项,如果是非主从同步的需求,推荐关闭ddl同步且跳过ddl异常,如果业务使得ddl发生变化,应在otter中同步修改,而不是让otter去做这件事。
3.点击我们创建的pipeline,进入映射关系列表页,点击添加,添加映射关系
需要着重提出的是,映射管理里的权重字段,值越低,表示此映射越优先处理。在碰到多表同步时,我们可以根据业务的时序,设置不同的权重值,以保证数据同步的时序性
五、启动同步
点击同步管理,进入channel页,找到我们刚刚处理的channel,在后面的操作列中点击启动按钮。
六、监控运行状态
点击channel,进入pipeline页,点击pipeline,进入到三级页面,我们可以在上面的table标签中选择我们想查看的信息,比如错误日志、同步进度、历史吞吐量等待