DRDS到MaxCompute（原ODPS）数据归档性能优化测试

摘要： cdp同步基本原理 数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为 20 多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。

一、cdp同步基本原理

数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为 20 多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。数据源类型的详情请参见 支持数据源类型。

数据集成的原理：
数据集成在阿里云上提供一套分布式离线数据同步平台，同时提供一套抽象化的数据抽取插件（称之为Reader）、数据写入插件（称之为Writer），并基于此框架设计一套简化版的中间数据传输格式，从而达到任意结构化、半结构化数据源之间数据传输之目的。从用户角度来看，一个数据集成同步任务运行Job示意图如下所示：

上述中，红色虚箭头是代表通过collector状态收集器监控数据返回到脏数据管理服务器进行数据分析，灰色方向箭头代表数据流向。DI Service主要是包含资源管理器、Job管理器、脏数据管理器、分布式服务、鉴权服务等。Job Container主要是将数据集成运行任务分成若干个task，然后通过scheduler调度管理。TaskGroup Container主要是数据抽取通过数据通道（channel）将数据写入。

• 使用数据集成Job启动API，向数据集成服务端发起调用，提交一个离线数据同步Job。
• 数据集成收到Job API请求后，将负责做必要的安全和权限校验，待校验通过后，数据集成会下发相应的Job到执行集群节点启动离线数据同步任务。
• Job启动后，根据您提供的源端（Reader）、目的端（Writer）的配置信息，加载并初始化相关插件，连接两端数据源，开始数据同步工作。
• Job运行过程中，将随心跳向数据集成汇报当前进度、速度、数据量等关键运行指标，可根据Job的状态API实时获取该Job运行状态，直至Job运行结束（成功或者失败）。

流程概述

步骤1：数据源端新建表。
步骤2：新增数据源。
步骤3：向导模式或脚本模式配置同步任务。
步骤4：运行同步任务，检查目标端的数据质量。

因为DRDS不支持存储过程，造一张实际生产的表有些复杂，所以采用通过RDS创建表数据，再导入到DRDS的方式

二、测试表准备：

通过RDS新建一张实际生产的表，数据量为一亿行左右（主键为自增）
通过存储结构插入数据（业务只需要天数是随机的）：
delimiter

dropprocedurehuayu2;CREATEPROCEDUREhuayu2()begindeclarevarint;setvar=0;whilevar<100000000doinsertintotpcsbill