阿里云dataworks将MySQL数据同步至maxcompute

       

目录

0.说明（一定要看）

1.首日全量同步，之后每日增量(包括新增或者新增及变化)

1.先选择一次性增量（增量能筛选条件）

2.配置数据源

3.设置同步来源与规则

4.设置目标表

5.设置同步规则

6.运行资源设置

7.再配置每日的增量

8.运行任务

9.查询数据

2.每日全量（适合没有任何时间字段且数据量较小的表，但是可能会经常变化）

3.一次性全量（适合一些维度数据，或者基本不会变化的表）

---

        这个星期一直在熟悉阿里云的dataworks，由于我们准备搭建数据仓库，因此要将存储在MySQL当中的业务数据导入至maxcompute中，自己摸索也是相当的困难，于是打算写一篇文章给大家一起分享我的经验。

        进入dataworks首页，打开dataworks的数据集成页面

         点击“同步解决方案”，再点击任务列表

点击右上角的新建任务，可以新增同步任务

 数据来源选择MySQL，数据去向选择maxcompute。

0.说明（一定要看）

下面的同步策略是我自己摸索出来的，不一定正确。
Q:为什么首日导入全量数据要用“一次性增量同步”？
A:因为如果首日用一次性全量同步，会在任务调度时运行同步，如果该任务1点运行，则会将当日0点~1点的数据一并导入至maxcompute，第二日的增量导入同样也会将这笔数据导入至maxcompute，这会造成数据重复，因此要使用“一次性增量同步”

1.首日全量同步，之后每日增量(包括新增或者新增及变化)

1.先选择一次性增量（增量能筛选条件）

2.配置数据源

需要配置数据源，没有数据的新增一个数据源，参考官方文档配置，同时需要一个独享数据集成资源组（单独付费，不是很贵），配置完后测试连通性，进入下一步