阿里ETL工具datax学习（一）

[size=xx-large]阿里云开源离线同步工具DataX3.0介绍[/size]
[size=x-large]一. DataX3.0概览
​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。[/size]

[img]http://dl2.iteye.com/upload/attachment/0128/2542/23d815a9-e1bd-37c2-844a-ca92bd2662ff.png[/img]

[size=x-large] ● 设计理念
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
● 当前使用现状
DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已持续稳定运行了6年之久。目前每天完成同步8w多道作业，每日传输数据量超过300TB。
此前已经开源DataX1.0版本，此次介绍为阿里云开源全新版本DataX3.0，有了更多更强大的功能和更好的使用体验。Github主页地址：https://github.com/alibaba/DataX。[/size]

[size=x-large]介绍多的不说了官网介绍比较详细，本文主要介绍xdata在windows系统的部署和使用[/size]

[size=x-large]二.如何使用[/size]
[size=x-large]安装好jdk和python配置好环境变量[/size]
[size=x-large]下载[url=http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz]datax[/url][/size]

[size=x-large]解压后目录为
[/size]

[img]http://dl2.iteye.com/upload/attachment/0128/2544/5b80f1ea-d82f-3b17-b1ec-3789d3013639.png[/img]


[size=x-large]示例 oracle库赋值到oracle库[/size]
[size=x-large]1.配置job的json[/size]

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "oraclereader",
                     "parameter": {
                        "column": ["",""],
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:oracle:thin:@192.10.1:1521:orcl"
                                ],
                                 "table": [
                                    ""
                                ],
                            }
                        ],
                        "username": "",
                        "password": "",
                    }
                },
                "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "",
                        "password": "",
                         "column": ["", ""],
                        "preSql": [
                           "truncate table "
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@127.0.0.1:1521:liuxu",
                                "table": [
                                    ""
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

[size=x-large]2.执行[/size]

[img]http://dl2.iteye.com/upload/attachment/0128/2546/f3c45f14-227f-365e-ae4a-c0dea96dedec.png[/img]

[size=x-large]3.查看结果[/size]

[img]http://dl2.iteye.com/upload/attachment/0128/2548/dbe4b5ea-805d-3013-94f7-9071ec5500c4.png[/img]