Datax使用篇

缘上寒山

已于 2022-05-07 20:41:05 修改

阅读量3.7k

点赞数

文章标签：数据仓库

于 2022-03-28 20:35:09 首次发布

本文链接：https://blog.csdn.net/z3191595/article/details/123804197

版权

在说Datax前，先简单描述一下什么是ETL

ETL，是英文Extract-Transform-Load的缩写

在做数据的传输转换时，其中一种实现方案的选择是Datax

代码：https://github.com/alibaba/DataX

Datax是一款比较方便的数据同步工具，可以进行库库的同步

1. 安装部署

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

1.1. 下载datax.tar.gz

1.2. linux 下新建文件夹datax

1.3. 将datax.tar.gz上传至datax文件夹

1.4. 解压文件：tar -zxvf datax.tar.gz

1.5. datax默认支持的是python2；如果环境是python3的需要处理以下python版本

1.6. 解压后自检：python /[PATH]/datax/bin/datax.py /[PATH]/datax/job/job.json

出现下面的界面就表示安装成功

2. 使用

在Java中通过执行linux命令，来执行datax

Process proc = Runtime.getRuntime().exec(new String[]{"/bin/sh", "-c", "python /[PATH]/datax/bin/datax.py /[PATH]/datax/job/job.json"});

其中命令后面可以夹参数 -p，例如传递数据库的地址用户名密码之类

看一个实际的例子

同步任务：test.job

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "reader",
                    "parameter": {
                        "username": "${readerdbname}",
                        "password": "${readerdbpassword}",
                        "connection": [
                            {
                                "table": [
                                    "test_source"
                                ],
                                "jdbcUrl": [
                                    "${readerdburl}"
                                ]
                            }
                        ],
                        "column": [
							"field"
                        ]
                    }
                },
                "writer": {
                    "name": "writer",
                    "parameter": {
                        "username": "${writerdbname}",
                        "password": "${writerdbpassword}",
						"connection": [
                            {
                                "table": [
                                    "test_target"
                                ],
                                "jdbcUrl": "${writerdburl}"
                            }
                        ],
                        "column": [
							"field"
                        ],
						"preSql": [
							"truncate table test_target"
						]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1,
                "byte": 104857600
            },
            "errorLimit": {
                "record": 10,
                "percentage": 0.05
            }
        }
    }
}

Process proc = Runtime.getRuntime().exec(new String[]{"/bin/sh", "-c", "python /[PATH]/datax/bin/datax.py /[PATH]/datax/job/test.job -p -Dreaderdburl=jdbc:oracle:thin:@127.0.0.1:1521/ORCL -Dreaderdbname=orcl -Dreaderdbpassword=orcl -Dwriterdburl=jdbc:oracle:thin:@127.0.0.1:1521/ORCL -Dwriterdbname=orcl -Dwriterdbpassword=orcl"});

执行后test_source的数据就会同步至test_target中