（三）EPS数据同步助手-配置同步任务

如何通过配置 实现数据同步

首先创建一个测试表 里面有varchar int long double time 等数据类型

在创建一个目标端的表 注意字段和之前的有三个不一样 分表是 n1 n2 d1。这是为了测试数据类型转换的功能。支持不同数据类型转换。

然后配置数据源 这里以mysql为例 。需要配置两个库 一个是源端 一个是目标端

点击添加按钮 进入添加页面

在这里填写数据连接 用户 等信息 最下方是连接池配置。

添加完成后回到首页点击测试 查看数据库配置是否正确，绿色代表连接正常。

首先点击配置管理的高级模式

第一步 填写源端信息包括 同步配置名（test） 方言，数据库配置，所有者（oracle为用户 mysql为数据库名称） 然后下方选择 表 、视图 、sql方式来同步数据

第二部配置好要同步的表 会自动列出表里所有字段。如果需要按时间更新 左上角 按时间戳更新选 是 。如果需要开启对账 ，左上角对账选择 是。
需要同步哪个字段 左侧 选择哪个字段
第三列是 源库的字段名称 如果两端字段名称不一样 可以修改。
默认值列：如果源库数据由空值 那么会将这里填写的默认值报错到目标端比如 时间有空 那就填（0） 报错的时候就会保存成当前时间。
转换：如果源库 和目标库字段类型不一样 比如源库的 数字 和时间是varchar类型 目标库是datetime、int类型 那么可以使用转换功能将字段转换过来。不需要转换的字段就填写 源库数据类型。
主键：选择源库和目标库数据唯一标识，可以是复合主键。

时间戳列：如果左上角时间戳选择了 是 那这一列可以选择已源库哪个时间作为增量标识 这个字段必须是时间。如果不选择 那就是全量同步。选择了时间可以同步某一个时间段的数据（比如同步昨天一天的）
对账列：如果需要对数据进行对账 除了左上角对账 选“是” 这里要选择对账字段 一般为时间 可以检查某个时间段内的数据是否有遗漏（比如看昨天的数据） 如果不选择 那就是全量对账。

第三部分是填写目标数据库连接、表名称。
同步方式。
1.先删除后插入：入库直接检查数据是否存在 存在先删除旧数据 再插入新数据。（一般用户clickhouse）
2.修改或插入：入库直接检查数据是否存在 存在先修改 不存在就 插入新数据。
3.插入接口：只会插入不会判断数据是否存在。一般用户一些只有增量的记录 如：日志 通话记录 GPS等。
4 双向同步。这个会对比两侧数据库（目标库 源库）如果源库没有的数据 而目标库有 则删除目标库 保证两边数据完全一致。
其他配置 查询时否分页查询。是否开启批处理同步

是否按时间排序（oracle分页不加时间会有问题。默认会已主键排序）
是否按主键去重 主要用于源库数据存在重复数据。（工作中遇到过）这个选中之后 必须选中按时间排序 以便去重保留最新的。

然后点击保存

之后打开配置管理 定时配置

选中刚刚配置的 test 任务 其他信息会自动填充
注意如果按时间戳更新 要填写同步时间 就是从源库哪个时间点开始 同步数据，之前时间的数据不会同步。
批处理 和分页数量尽量填大点 （我一般在10000-20000之间）

保存之后 在同步管理 定时查询可以看到刚刚配置的任务

测试之前先在 源库添加一条数据 其中 n1 n2 d1 是varchar 类型。

然后选择同步的时间 点击立即执行 会立即同步上面选择的时间段内的数据。

点击之后 立即执行变为立即停止 以下是后台的执行日志

然后点击监控管理 同步可视化监控

可以查看数据同步的进度 比如开始时间 数据区间 同步数据总量 成功多少失败多少

同步之后目标库 的数据如下

如果要定时执行 点击启动按钮 点击后效果如下 会显示 开始时间 下次开始时间 上次执行时间 状态等。

数据同步是单线程的。基于目前的我所接触到的业务 线程太多会造成源端数据库卡死 而且源端存在查询慢。不适合多线程 所以没有考虑多线程

同步结果

数据核查页面