DataX使用指南——ODPS to ODPS

最新推荐文章于 2024-08-10 11:42:01 发布

weixin_34310369

最新推荐文章于 2024-08-10 11:42:01 发布

阅读量3k

点赞数

文章标签：大数据数据库 json

原文链接：https://yq.aliyun.com/articles/71063

版权

DataX是阿里巴巴的离线数据同步工具，支持多种数据源之间的同步，包括ODPS。本文介绍了DataX的基本概念、使用场景、配置文件和运行方式，以及如何进行任务调优，包括网络、DataX参数、源端和目标端的影响因素分析。

摘要由CSDN通过智能技术生成

1. DataX是什么

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

2. 何时用DataX

DataX是离线数据同步工具，当需要迁移增量时，建议使用DTS，而不是DataX；
针对离线数据，当数据量很大或表非常多时，建议使用DataX。此时配置文件可编写脚本批量生成，详见ODPS数据迁移指南。同时可以增大DataX本身的并发，并提高运行DataX的任务机数量，来达到高并发，从而实现快速迁移；

3. DataX怎么用

3.1 DataX的配置文件

如下是DataX的配置文件示例：

{
    "job": {
           "content":[
                {
                    "reader":{
                        "name":"odpsreader",
                        "parameter":{
                            "accessId":"<accessID>",
                            "accessKey":"******************************",
                            "column":[
                                "col_1",
                                "col_2"
                            ],
                            "odpsServer":"http://service.odps.aliyun-inc.com/api",
                            "partition":[
                                "dt=20160524"
                            ],
                            "project":"src_project_name",
                            "splitMode":"record",
                            "table":"table_name_1"
                        }
                    },