DataX使用示例

已于 2022-04-02 14:43:46 修改
阅读量3.1k 收藏 11
点赞数 4
分类专栏： datax 文章标签： 大数据
于 2021-04-16 16:11:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liang_336/article/details/115764337
版权

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

关于原理及优缺点，知乎上有博主描述：DataX介绍以及优缺点分析 - 知乎

笔者比较赞同

阿里相关文档地址：https://github.com/alibaba/DataX

官方部分参数说明（这里以Oracle读，Oracle写为例，关系型数据库参数基本一样）

{
    "job": {
        "setting": {
            "speed": {
            // 设置传输速度 byte/s 尽量逼近这个速度但是不高于它.
            // channel 表示通道数量，byte表示通道速度，如果单通道速度1MB，
配置byte为1048576表示一个channel
                 "byte": 1048576
            },
            //出错限制
            "errorLimit": {
                //先选择record，出错多少条抛异常，为零代表报错就抛异常，任务失败
                "record": 0,
                //百分比  1表示100%
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "oraclereader",
                    "parameter": {
                        // 数据库连接用户名
                        "username": "root",
                        // 数据库连接密码
                        "password": "root",
                        "column": [
                            "id","name"
                        ],
                        //切分主键
                        "splitPk": "db_id",
                        "connection": [
                            {
                                "table": [
                                    "table"
                                ],
                                "jdbcUrl": [
     "jdbc:oracle:thin:@[HOST_NAME]:PORT:[DATABASE_NAME]"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "root",
                        "password": "root",
                        "column": [
                            "id",
                            "name"
                        ],
                        "preSql": [
                            "delete from test"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@[HOST_NAME]:PORT:[DATABASE_NAME]",
                                "table": [
                                    "test"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

关系型数据库参数解释说明（红色为必填参数，橙色表示要填但可以被其他参数替换，黑色表示可以不填）：

setting：

    speed：数据传输速度

        channel：通道数量

        byte：传输速度 byte/s 尽量逼近这个速度但是不高于它

    errorLimit：数据容错数

        record：出错多少条抛异常，为零代表报错就抛异常，任务失败

        percentage：出错率，1表示100%，条数和概率都配置了则优先条数然后再判断百分比

content：

    reader：

        name：根据读取的数据源固定名称：*reader，例如【mysqlreader，oraclereader，sqlserverreader...】

        fetchSize：mysql不支持这个参数，该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了DataX和服务器端的网络交互次数，能够较大的提升数据抽取性能。不宜设置过大超过2048可能会造成Datax进程OOM，默认1024

        parameter:

            username：数据库用户名

            password： 数据库密码

            splitPk：进行数据抽取时，如果指定splitPk，表示用户希望使用splitPk代表的字段进行数据分片，DataX因此会启动并发任务进行数据同步，这样可以大大提供数据同步的效能。推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前splitPk仅支持整形、字符串型数据切分

            column：指定列（注意，如果设置了querySql，此字段可以不写）

            where：查询条件（注意，如果设置了querySql，此字段可以不写）

            connection：

                table：指定表名（注意，如果设置了querySql，此字段可以不写）

                querySql：指定查询的sql语句（描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id；个人推荐使用，如果不设置，请填写column和table两个字段，where可以不写，会默认全表数据，如果设置了column，table，where三个字段会失效）

                 jdbcUrl：指定数据库连接

    writer：

        name：根据写入的数据源固定名称：*writer，例如【mysqlwriter，oraclewriter，sqlserverwriter...】

        parameter:

            username：数据库用户名

            password： 数据库密码

            writeMode：oracle，postgresql，sqlserver不支持这个参数，控制写入数据到目标表采用 insert into 或者 replace into 或者 ON DUPLICATE KEY UPDATE 语句，所有选择（insert/replace/update）

            column：指定列

            preSql：写入数据到目的表前，会先执行这里的标准语句。

            postSql：写入数据到目的表后，会执行这里的标准语句。

            batchSize：一次性批量提交的记录数大小，该值可以极大减少DataX与Mysql的网络交互次数，并提升整体吞吐量。但是该值设置过大可能会造成DataX运行进程OOM情况。默认1024

            session：描述：控制写入数据的时间格式，时区等的配置，如果表中有时间字段，配置该值以明确告知写入 oracle 的时间格式。通常配置的参数为：NLS_DATE_FORMAT,NLS_TIME_FORMAT。其配置的值为 json 格式

例如

"session": [
              "alter session set NLS_DATE_FORMAT='yyyy-mm-dd hh24:mi:ss'",
              "alter session set NLS_TIMESTAMP_FORMAT='yyyy-mm-dd hh24:mi:ss'",
              "alter session set NLS_TIMESTAMP_TZ_FORMAT='yyyy-mm-dd hh24:mi:ss'",
              "alter session set TIME_ZONE='US/Pacific'",
							"set session sql_mode='ANSI'"
            ]

            connection：

                table：指定表名

                jdbcUrl：指定数据库连接

注意事项：

执行 DataX 的机器参数为:

  1. cpu: 24 Core Intel(R) Xeon(R) CPU E5-2430 0 @ 2.20GHz

  2. mem: 94GB

  3. net: 千兆双网卡

  4. disc: DataX 数据不落磁盘，不统计此项

Oracle 数据库机器参数为:

  1. cpu: 4 Core Intel(R) Xeon(R) CPU E5420 @ 2.50GHz

  2. mem: 7GB

DataX jvm 参数

-Xms1024m -Xmx1024m -XX:+HeapDumpOnOutOfMemoryError

通道数

批量提交行数

DataX速度(Rec/s)

DataX流量(MB/s)

DataX机器网卡流出流量(MB/s)

DataX机器运行负载

DB网卡进入流量(MB/s)

DB运行负载

1

128

15564

6.51

7.5

0.02

7.4

1.08

1

512

29491

10.90

12.6

0.05

12.4

1.55

1

1024

31529

11.87

13.5

0.22

13.3

1.58

1

2048

33469

12.57

14.3

0.17

14.3

1.53

1

4096

31363

12.48

13.4

0.10

10.0

1.72

4

10

9440

4.05

5.6

0.01

5.0

3.75

4

128

42832

16.48

18.3

0.07

18.5

2.89

4

512

46643

20.02

22.7

0.35

21.1

3.31

4

1024

39116

16.79

18.7

0.10

18.1

3.05

4

2048

39526

16.96

18.5

0.32

17.1

2.86

4

4096

37683

16.17

17.2

0.23

15.5

2.26

8

128

38336

16.45

17.5

0.13

16.2

3.87

8

512

31078

13.34

14.9

0.11

13.4

2.09

8

1024

37888

16.26

18.5

0.20

18.5

3.14

8

2048

38502

16.52

18.5

0.18

18.5

2.96

8

4096

38092

16.35

18.3

0.10

17.8

3.19

16

128

35366

15.18

16.9

0.13

15.6

3.49

16

512

35584

15.27

16.8

0.23

17.4

3.05

16

1024

38297

16.44

17.5

0.20

17.0

3.42

16

2048

28467

12.22

13.8

0.10

12.4

3.38

16

4096

27852

11.95

12.3

0.11

12.3

3.86

32

1024

34406

14.77

15.4

0.09

15.4

3.55

  1. 批量提交行数（batchSize）对性能影响很大，当 batchSize>=512 之后，单线程写入速度能达到每秒写入一万行

  2. 在 batchSize>=512 的基础上，随着通道数的增加（通道数<32），速度呈线性比增加。

  3. 通常不建议写入数据库时，通道个数 >32

  4. 参数解释参照github上的官方文档，基本较全，读者也可自行登录官方地址查阅

例子：

  1. 读mysql数据写入到oracle

读数据源mysql表名：datax_test   字段：id，name， create_time

写数据源oracle表名：DATAX_TEST1  字段：ID1，NAME1，CREATE_TIME1

{

  "job": {

    "setting": {

      "speed": {

        "channel": 1,

        "byte": 1048576

      },

      "errorLimit": {

        "record": 0,

        "percentage": 0.02

      }

    },

    "content": [

      {

        "reader": {

          "name": "mysqlreader",

          "parameter": {

            "username": "root",

            "password": "root",

            "splitPk": "id",

            "connection": [

              {

                "querySql": [

                  "SELECT id ID1,name NAME1,create_time CREATE_TIME1 FROM datax_test"

                ],

                "jdbcUrl": [

                  "jdbc:mysql://127.0.0.1:3306/mysql?useCursorFetch=true"

                ]

              }

            ]

          }

        },

        "writer": {

          "name": "oraclewriter",

          "parameter": {

            "username": "root",

            "password": "root",

            "column": [

              "\"ID1\"",

              "\"NAME1\"",

              "\"CREATE_TIME1\""

            ],

            "connection": [

              {

                "table": [

                  "DATAX_TEST1"

                ],

                "jdbcUrl": "jdbc:oracle:thin:@127.0.0.1:1521:orcl"

              }

            ]

          }

        }

      }

    ]

  }

}

2.读oracle数据写入到oracle

读数据源oracle表名：DATAX_TEST   字段：ID，NAME， CREATE_TIME

写数据源oracle表名：DATAX_TEST1  字段：ID1，NAME1，CREATE_TIME1

{

  "job": {

    "setting": {

      "speed": {

        "channel": 1,

        "byte": 1048576

      },

      "errorLimit": {

        "record": 0,

        "percentage": 0.02

      }

    },

    "content": [

      {

        "reader": {

          "name": "oraclereader",

          "parameter": {

            "username": "root",

            "password": "root",

            "splitPk": "ID",

            "connection": [

              {

                "querySql": [

                  "SELECT ID ID1,NAME NAME1,CREATE_TIME CREATE_TIME1 FROM DATAX_TEST"

                ],

                "jdbcUrl": [

                  "jdbc:oracle:thin:@127.0.0.1:1521:orcl"

                ]

              }

            ]

          }

        },

        "writer": {

          "name": "oraclewriter",

          "parameter": {

            "username": "root",

            "password": "root",

            "column": [

              "\"ID1\"",

              "\"NAME1\"",

              "\"CREATE_TIME1\""

            ],

            "connection": [

              {

                "table": [

                  "DATAX_TEST1"

                ],

                "jdbcUrl": "jdbc:oracle:thin:@127.0.0.1:1521:orcl"

              }

            ]

          }

        }

      }

    ]

  }

}

3.读sqlserver数据写入到oracle

读数据源sqlserver表名：[guest].[datax_test]   字段：id，name， create_time

写数据源oracle表名：DATAX_TEST1  字段：ID1，NAME1，CREATE_TIME1

{

  "job": {

    "setting": {

      "speed": {

        "channel": 1,

        "byte": 1048576

      },

      "errorLimit": {

        "record": 0,

        "percentage": 0.02

      }

    },

    "content": [

      {

        "reader": {

          "name": "sqlserverreader",

          "parameter": {

            "username": "root",

            "password": "root",

            "splitPk": "id",

            "connection": [

              {

                "querySql": [

                  "SELECT id ID1,name NAME1,create_time CREATE_TIME1 FROM [guest].[datax_test]"

                ],

                "jdbcUrl": [

                  "jdbc:sqlserver://127.0.0.1:1433;DatabaseName=DRGSTEST"

                ]

              }

            ]

          }

        },

        "writer": {

          "name": "oraclewriter",

          "parameter": {

            "username": "root",

            "password": "root",

            "column": [

              "\"ID1\"",

              "\"NAME1\"",

              "\"CREATE_TIME1\""

            ],

            "connection": [

              {

                "table": [

                  "DATAX_TEST1"

                ],

                "jdbcUrl": "jdbc:oracle:thin:@127.0.0.1:1521:orcl"

              }

            ]

          }

        }

      }

    ]

  }

}

liang_336
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java调用shell向DataX传参，带where条件，特殊字符
08-16
java调用shell命令，在shell命令中调用DataX任务并传递参数。 坑主要在DataX传递参数涉及到特殊字符应该如何处理这块，有时间可以自己试； 没时间可以用我的经验，自己选择；
DataX使用总结
weixin_42050545的博客
06-27 8897
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github，地址：https://github.com/alibaba/DataX。 DataX安装部署 ...
datax使用实例及优化
最新发布
v15220的博客
06-18 772
或{"byteSize":0,"index":6,"rawData":"","type":5}],"type":"reader","message":"No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUtil.Type.INT"}直接配置 job.setting.speed.channel=5，所以 job 内 Channel 并发=5 个。如果过程出现提示脏数据。
dataX数据同步
yabin1016的博客
05-24 491
dataX linux环境部署： 1 参考文章： https://blog.csdn.net/Titanium_LL/article/details/100859499 2 环境参数：centos7 3 crontab定时任务参考https://www.pianshen.com/article/8309173488/ crontab不执行报错解决： 解决 sh: java: command not found 问题 在执行脚本上加入如下配置即可 #!/bin/bash JAV...
datax 学习记录
zhuyin365的博客
03-22 1170
datax 学习到应用
datax如何使用动态参数
qq_30908729的博客
05-06 1875
linux如何给datax传递参数 解决方法： 假如要给test.json传递当前时间， -p "-Dday=${YESTERDAY}" 就是关键 YESTERDAY=`date +%s` nohup /usr/bin/python2 ${DATAX_PATH}/datax.py -p "-Dday=${YESTERDAY}" test.json & test.json的where属性使用参数可参考：http://www.yayihouse.com/yayishuwu/chapte
datax避坑记录
小飞的博客
07-20 2014
datax避坑
使用idea启动DataX的方法示例
08-25
以下是一个详细的使用Idea启动DataX的示例教程。 首先，我们需要获取DataX的源代码。可以从官方GitHub仓库克隆或下载DataX项目，仓库地址为：https://github.com/WeiYe-Jing/datax-web。这是一个名为datax-web的...
datax介绍及使用
09-07
DataX 介绍及使用 数据同步是大数据环境中的一项关键技术，那么如何快速的转型和构建大数据环境尤为重要。DataX 是一款优秀的异构数据源离线同步工具，由阿里巴巴开发，基于 Python，提供各种数据源的读写插件，多...
java集成datax所需pom依赖包
04-09
Java集成DataX涉及到的是数据同步工具的使用，DataX是阿里巴巴开源的一款用于大数据搬移的工具，它能够高效地支持大量数据在不同数据存储之间进行迁移。在这个场景中，"java datax"标签表明我们将讨论如何在Java项目...
datax metrics exporter @prometheus
05-29
4. **示例脚本**：用于启动和测试DataX集成Prometheus的脚本，演示如何收集和可视化DataX的性能数据。 5. **指标规范**：定义了DataX暴露的特定度量，比如任务执行时间、数据传输速率、错误数量等。 通过集成...
datax的json范例
08-26
DataX是阿里巴巴开源的一款强大的数据同步工具，它能够高效、稳定地进行大数据迁移工作，支持多种数据源之间的数据同步。这个“datax的json范例”可能是为了展示如何配置DataX任务，特别是通过JSON格式来定义任务的...
【转】dataX简介
hero_xsx的博客
10-29 664
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
datax优化之reader提速-详细经历
热门推荐
cclovezbf的博客
12-09 2万+
首先说明下，个人认为reader提速最重要的一点就是切分任务即split这块 背景：一直用datax从oracle到hive数据，一般是1w-2w条/s也凑合用了，但是最近导DM_F_REV_FULL_LIFE_CYCLE_IMS表 该表根据月在hive分区，每个分区数据在200w-1000w左右，数据量也不算特别大但是速度只有4M/s 速度不到7000条/s, { "job":{ "setting":{ "speed":{ "c
DataX配置
XGkerwin1的博客
09-12 930
datax配置文件
DataX踩坑
Kverson
11-18 1479
踩坑一： com.alibaba.fastjson.JSONObject cannot be cast to java.util.List 解决方法 将数据库等表信息不是用List格式表示的
DataX3.0配置文件参数详解
帅成一匹马
09-07 1万+
datax3.0介绍 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Reader插件和Writer插件 "reader": { "name": "mysqlreader", #从mysql数据库获取数据（也支持sqlserverreader,oraclereader） "name": "txtfilereader", #从本地获取数据
Datax增量导入和几种常见的数据迁移模板
qq_39431417的博客
12-16 2163
列出几种常用的Datax的模板，读写的库可以随意互换 1、读PG库写入MySQL { "job": { "content": [ { "reader": { "name": "postgresqlreader", "parameter": { "username": "postgres", "password": "123456",
Mysql数据库常用查询方法及演示（where条件查询、分页、排序等）
li944254211的博客
10-26 1085
Mysql数据库常用查询方法及演示 where条件查询的介绍 使用where条件查询可以对表中的数据进行筛选，条件成立的记录会出现在结果集中。 where语句支持的运算符: 比较运算符 逻辑运算符 模糊查询 范围查询 空判断 1.比较运算符查询 等于: = 大于: > 大于等于: >= 小于: < 小于等于: <= 不等于: != 或 <> 例： 查询编号大于3的学生: select * from students where id > 3; 查询编号不大于
DataX使用方式
05-31
DataX的使用方式包括以下几个步骤： 1. 下载和安装DataX 可以从DataX的官方GitHub仓库中下载最新版本的DataX，并按照官方文档进行安装。安装完成后，可以使用DataX的命令行工具进行数据交换任务的配置和执行。 2. 配置数据源和目标 DataX需要根据数据源和目标的不同配置不同的插件。可以在DataX的插件目录中找到对应的插件，并按照官方文档进行配置。例如，如果需要从MySQL数据库中读取数据并写入到Hive表中，可以使用MySQLReader和HiveWriter插件进行配置。 3. 编写数据交换任务的配置文件 可以使用DataX的配置文件格式，编写数据交换任务的配置文件。配置文件中需要指定数据源、目标、数据表、字段映射关系等信息。可以根据官方文档提供的示例进行配置。 4. 执行数据交换任务 可以使用DataX的命令行工具执行数据交换任务。执行命令的格式为： ``` python datax.py job/job.json ``` 其中，`job.json`为数据交换任务的配置文件。执行命令后，DataX会自动读取配置文件，并进行数据交换操作。可以使用DataX提供的日志和报告功能进行监控和报告。 总之，使用DataX进行数据交换需要进行插件配置、任务配置和命令行执行等操作。虽然有些繁琐，但是DataX提供了丰富的插件和扩展接口，可以满足不同的数据交换需求。同时，DataX还提供了完善的监控和报告功能，可以帮助用户及时发现和处理数据交换中的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值