数据分析平台对接阿里云大数据MaxCompute

数据分析平台对接MaxCompute

一．Mysql全量，增量实时同步到MaxCompute
方案一 从MySQL直接实时同步到MaxCompute
在MaxCompute的DataWorks控制台的数据集成模块可以实现实时同步，该模块的实时同步功能是根据Mysql Binlog日志进行数据的同步，但是该模块在测试中，并未开放，可以向阿里云服务的人员申请功能为自己的账号开放，即可配置使用。
该实时同步作业的原理是基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。
操作步骤如下：
1.登录DataWorks控制台，单击相应工作空间后的进入数据开发。
2.鼠标悬停至，单击数据集成 > 实时同步。
3.也可以找到相应的业务流程，右键单击数据集成，选择新建> 实时同步。
4.在新建节点对话框中，输入节点名称，并选择目标文件夹，单击提交。
注意：节点名称的长度不能超过128个字符。
5.在实时同步节点的编辑页面，鼠标单击输入 > MySQL Binlog并拖拽至
编辑面板。
6.单击MySQL Binlog节点，填写节点配置对话框中的参数。
7.单击工具栏中的。

该方案的好处：1. 直接在DataWorks上进行实时同步作业的配置操作，实行起来比较简便
2.通过DataWorks直接操作MaxCompute，更好的兼容性
缺点：需要向阿里云管理员申请开通这个实时同步的灰度服务（目前 还在测试中）

相关资料：
https://help.aliyun.com/document_detail/146662.html?spm=a2c4g.