阿里云 数加 · DataWorks 数据同步

数据同步

当业务数据进入阿里云maxcomputer，我们或许需要进行一些简单的流程化处理，比如进行数据回流至mysql或是其他数据库，需要创建数据同步任务。

进入dataworks2.0 控制台

在左侧数据发开中新建业务流程，我们可以在数据集成中创建数据同步任务，进行数据的双向同步；当然我们首先确保我们已经添加数据源，即将我们的业务数据库地址添加至数据源，才能到这里创建数据同步任务，如果没有，会有指引页面。

 

数据同步任务创建完毕

在这里我们可以设置 双向数据源，以及一些其他选项。如果要进行周期调度，需要在右侧 调度配置进行设置，

字段映射 ，可选择需要映射字段，可交叉选择，刷新可自动排版，

通道控制则是对传输效率进行一些控制

数据增量同步

注意事项：

• 每一个任务都可以设置调度依赖，如果此任务没有上游依赖，则可以使用根结点，否则选择相应的依赖节点。
• 周期调度时间可以选择发布后生效，或是 T + 1 日生效
• 无论是数据同步任务或是sql任务 完成后必须提交发布 才可生效
• odps表必须是分区表，同步增量数据的分区（看文档，提工单，这里我也懵）

                  

将数据从maxcomputer中进行查询后进行数据的同步或者数据统计结果的同步

我们需要

在图一的数据开发中新建sql节点 当我们完成sql语句的开发，我们同样可以设置定时任务，同样在右侧调度配置中

 

周期任务设置完成后，可以在运维中心  周期任务中进行查看  

• 我们可以设置数据同步依赖某一个sql节点，同样是在调度配置中的调度依赖进行设置，将sql节点的输出节点作为数据同步的上游节点
• 也可以将定时的sql任务结果insert到新的数据表，再创建此表与业务表之间数据同步关系

MaxCompute开发者社区群号 : 11782920 钉钉