PolarDB-X最佳实践系列（二）：如何使用DataWorks将数据同步到MaxCompute(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

use d1;
CREATE TABLE t1 (
id int(11) NOT NULL AUTO_INCREMENT,
c1 int(11) DEFAULT NULL,
gmt_create datetime DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (Id)
);

2.制造一些数据：

insert into t1 values (null,rand()*20000,now());
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;
insert into t1 select null,rand()*20000,now() from t1;

### 创建数据源


为了让DataWorks能读取PolarDB-X的数据，需要创建一个数据源。


1.进入DataWorks控制台，选择**数据集成**：



![](https://img-blog.csdnimg.cn/img_convert/81bd0cd6bf822e04fd0b35d695382f3e.webp?x-oss-process=image/format,png)


2.点击左边的**数据源**：



![](https://img-blog.csdnimg.cn/img_convert/16747fc37bf32f046a9a588ac5969064.webp?x-oss-process=image/format,png)


3.点击右上角**新增数据源**：



![](https://img-blog.csdnimg.cn/img_convert/2e1dc511af57e2c060e7d70701da3d25.webp?x-oss-process=image/format,png)


4.选择**DRDS**：



![](https://img-blog.csdnimg.cn/img_convert/8711f78408305782e897b801ec9c864d.webp?x-oss-process=image/format,png)



5.数据源类型选择**连接串模式**，将PolarDB-X实例的内网地址拼在JDBC URL中，并测试连通性通过：



![](https://img-blog.csdnimg.cn/img_convert/24708ab97d66d008330ebf85e3949f7e.webp?x-oss-process=image/format,png)


**注意，这里前提了已经有了独享数据集成资源组，并已打通了与该PolarDB-X实例之间的网络。如果未满足该前提，需要先额外完成下面的支线任务：**


#### 支线：创建独享数据集成资源组并打通网络


1.在没有**独享数据集成资源组**的情况下，需要先创建一个**独享数据集成资源组**：



![](https://img-blog.csdnimg.cn/img_convert/0a106e7d738643e5d50332595ac5a74a.webp?x-oss-process=image/format,png)


2.将该独享数据集成资源组的网络与我们的PolarDB-X实例打通，操作入口地址：


[阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台]( )


3.点击网络设置：



![](https://img-blog.csdnimg.cn/img_convert/8fd7a00304b383334562caa81687cd72.webp?x-oss-process=image/format,png)


4.点击新增绑定：



![](https://img-blog.csdnimg.cn/img_convert/1b00dd98119a896507a114abc8bc585d.png)


5.选择PolarDB-X实例对应的网络信息，重点是专有网络、可用区、交换机。安全组暂不明实际意义，可以随便选一个。



![](https://img-blog.csdnimg.cn/img_convert/615cd3a32a878fee99f4cb5c80920ac5.webp?x-oss-process=image/format,png)



6.记录绑定网络后，该资源组的交换机网段：



![](https://img-blog.csdnimg.cn/img_convert/f5d37800f4913ff2262f1a68a97a3451.webp?x-oss-process=image/format,png)



7.在PolarDB-X控制台上，将上面记录的网段添加到白名单中：



![](https://img-blog.csdnimg.cn/img_convert/fbe7a98aa3a8a0971d65476036d8d414.webp?x-oss-process=image/format,png)



![](https://img-blog.csdnimg.cn/img_convert/712973421989bf1f8b4dc02f38468377.webp?x-oss-process=image/format,png)


image.png



8.注意，更复杂的网络模型（例如跨账号等），请参考DataWorks官方文档提供的各种解决方案。


#### 创建同步任务


这里以创建一个“一次性全量同步到MaxCompute任务”为例。



![img](https://img-blog.csdnimg.cn/img_convert/daa429e52ae8d936573bf8831a69399d.png)
![img](https://img-blog.csdnimg.cn/img_convert/93c421d74b0551aa4daa950aa1724856.png)
![img](https://img-blog.csdnimg.cn/img_convert/7713807ba920ff1f7ec1d6976aea599e.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**