通过 AWS Glue 同步 MaxCompute 数据到 S3

1. 下载驱动

下载 3.3.6 版本的 driver

wget https://github.com/aliyun/aliyun-odps-jdbc/releases/download/v3.3.6/odps-jdbc-3.3.6-jar-with-dependencies.jar

将下载的jar包上传到 S3 指定目录下。(版本会影响方案的成功，4.x 以上版本验证是不可行的)

2. 在 Glue 创建 Connection

2.1 创建 Custom Connector

1. 在 Glue 控制台的左侧菜单中找到 Connections，点击进入。
2. 点击 Create Custom connectors 进入创建自定连接页面
3. 在 Connector S3 URL 中选择之前步骤上传到 S3 的 jar 驱动包。

• Name 自定义
• Connector type 选择 JDBC
• Class name 填写 com.aliyun.odps.jdbc.OdpsDriver
• JDBC URL base 填写 jdbc:odps:http://service.cn-hangzhou.maxcompute.aliyun.com/api?project=<projectname>&accessId=<accessid>&accessKey=<accesskey>&interactiveMode=true (在阿里云网站上找到对应region 的 endpoint)
• URL parameter delimiter 填写 &

4. 点击 Create
   

2.2 Create connection

从上一步骤创建好 Connector 页面中，直接点击右上角的 Create connection，打开创建 Connection 的页面

1. Name 自定义填写

2. Connection credential type 选择 default

3. 进入 Secrets Manager，创建一个新的对象，在 Key/Value 中分别填写 accessId，accessKey 对应在阿里云实际的用户ID和key。
   

4. 在 Glue 创建 Connection 页面选中上一步骤创建好的 Secret 对象。

5. 展开 Network options 选择 VPC，和带有NAT的私有子网。

6. 点击 Create ，这样就创建好 MaxComputer 的连接。

2.3 Glue ETL Job

1. 点击菜单中的 ETL Jobs，选择 Visual with a source and target。Source 选择创建好的 Custom Connector，Target 选择 S3，点击 Create 创建一个新的 ETL Job
   
2. 在 ETL 画布页面，双击Data source，在Connection中选择，2.2 步骤创建的 MaxComputer Connection。设置需要同步的表名
3. 点击 Data target，设置 S3 的路径
4. 保存，运行。