【大数据】odps数据迁移方式

1、按迁移工具分类

    一共分为2种：Tunnel批量数据通道、DataHub实时通道。

1）Tunnel批量数据通道

MaxCompute Tunnel是MaxCompute的数据通道，您可以通过Tunnel向MaxCompute中上传或者下载数据。目前Tunnel仅支持表（不包括视图View）数据的上传和下载。MaxCompute提供的数据上传和下载工具即是基于Tunnel SDK编写的。

分类：阿里云数加产品、开源产品两类

阿里云数加产品

1、MaxCompute客户端

2、DTS

3、DataWorks

开源产品

1、sqoop

是hadoop生态立的一个数据导入工具，依赖于hadoop环境。

2、Kettle

         提供图形化的操作界面，可以通过拖拽控件的方式，方便地定义数据传输的拓扑 ，功能全面。

2）DataHub实时通道

DataHub服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能，让您可以轻松构建基于流式数据的分析和应用。

DataHub服务可以对各种移动设备，应用软件，网站服务，传感器等产生的大量流式数据进行持续不断的采集，存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据比如实时web访问日志、应用日志、各种事件等，并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等。

其中的几项插件都是开源的：

2、按数据类型分类

1）本地数据上云

①数据库上云（非公网用DataX，公网用DataWorks）

②文件上云（Datahub插件，DataWorks，Tunnel upload命令）

2）云上数据上云

①数据库上云（DataX，DataWorks，DTS）

②文件上云（Datahub插件，DataWorks，Tunnel upload命令）

分析：

任务为业务库数据同步到ODPS，且业务数据库（脱敏库）为内网，可考虑用DataX(开源软件)去实现。但是DataX没有可视化界面，需要自己开发。

参考博客：

阿里云导入数据

MaxCompute工具介绍

数据迁移的N种方式