离线数仓（2）DataX的使用详解

最新推荐文章于 2024-06-25 22:54:10 发布
最新推荐文章于 2024-06-25 22:54:10 发布
阅读量3.9k 收藏 12
点赞数
分类专栏： # 数仓 文章标签： big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44665283/article/details/124416904
版权
本文介绍了DataX作为阿里巴巴的离线数据同步工具，用于实现全量和增量数据同步。全量同步一次性复制所有数据，而增量同步仅同步变化数据，常用于数据库。DataX支持多种数据库，如MySQL、HDFS，并提供了流控和数据校验功能。文章详细讲解了DataX的安装、使用和优化，包括配置JSON文件、参数调整等，并给出了实例展示。
摘要由CSDN通过智能技术生成

数据的同步策略有全量同步和增量同步。

全量同步，就是每天都将业务数据库中的全部数据同步一份到数据仓库，这是保证两侧数据同步的最简单的方式。

增量同步，就是每天只将业务数据中的新增及变化数据同步到数据仓库。采用每日增量同步的表，通常需要在首日先进行一次全量同步。

​ 全量同步通常使用DataX、Sqoop等基于查询的离线同步工具。而增量同步既可以使用DataX、Sqoop等工具，也可使用Maxwell、Canal等工具。

增量同步方案DataX、SqoopMaxwell、Canal
对数据库的要求原理是基于查询，故若想通过select查询获取新增及变化数据，就要求数据表中存在create_time、update_time等字段，然后根据这些字段获取变更数据。要求数据库记录变更操作，例如MySQL需开启binlog。
数据的中间状态由于是离线批量同步，故若一条数据在一天中变化多次，该方案只能获取最后一个状态，中间状态无法获取。由于是实时获取所有的数据变更操作，所以可以获取变更数据的所有中间状态。

DataX同步业务数据

(1)DataX概述

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，源码地址：https://github.com/alibaba/DataX

在这里插入图片描述

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

在这里插入图片描述

在这里插入图片描述

DataX调度决策思路
举例来说，用户提交了一个DataX作业，并且配置了总的并发度为20，目的是对一个有100张分表的mysql数据源进行同步。

DataX的调度决策思路是：
1）DataX Job根据分库分表切分策略，将同步工作分成100个Task。
2）根据配置的总的并发度20，以及每个Task Group的并发度5，DataX计算共需要分配4个TaskGroup。
3）4个TaskGroup平分100个Task，每一个TaskGroup负责运行25个Task。
功能DataXSqoop
运行模式单进程多线程MR
分布式不支持，可以通过调度系统规避支持
流控有流控功能需要定制
统计信息已有一些统计，上报需定制没有，分布式的数据收集不方便
数据校验在core部分有校验功能没有，分布式的数据收集不方便
监控需要定制需要定制

(2)DataX安装

1）下载DataX安装包并上传到server16的/opt/yyds/apps

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2）解压datax.tar.gz到/opt/yyds/apps

[root@server16 apps]# tar -zxvf datax.tar.gz

3）自检，执行如下命令

[root@server16 datax]# python /opt/yyds/apps/datax/bin/datax.py  /opt/yyds/apps/datax/job/job.json

出现如下内容，则表明安装成功

2022-04-25 21:09:25.133 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2022-04-25 21:09:15
任务结束时刻                    : 2022-04-25 21:09:25
任务总计耗时                    :                 10s
任务平均流量                    :          253.91KB/s
记录写入速度                    :          10000rec/s
读出记录总数                    :              100000
读写失败总数                    :                   0

(3)DataX使用

DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。

[root@server16 datax]# python bin/datax.py path/to/your/job.json

第一种方式：查看模板文件

[root@server16 datax]# python bin/datax.py -r mysqlreader -w hdfswriter

{
    "job":{
        "content":[
            {
                "reader":{
                    "name":"mysqlreader",
                    "parameter":{
                        "column":[

                        ],
                        "connection":[
                            {
                                "jdbcUrl":[

                                ],
                                "table":[

                                ]
                            }
                        ],
                        "password":"",
                        "username":"",
                        "where":""
                    }
                },
                "writer":{
                    "name":"hdfswriter",
                    "parameter":{
                        "column":[

                        ],
                        "compress":"",
                        "defaultFS":"",
                        "fieldDelimiter":"",
                        "fileName":"",
                        "fileType":"",
                        "path":"",
                        "writeMode":""
                    }
                }
            }
        ],
        "setting":{
            "speed":{
                "channel":""
            }
        }
    }
}

第二种方式（官方文档）：

Reader和Writer的具体参数可参考官方文档，地址如下：

https://github.com/alibaba/DataX/blob/master/README.md

https://gitee.com/mirrors/DataX/blob/master/README.md

例如:

mysqlreader示例如下：

https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md

hdfswriter示例如下：

https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

1)TableMode模式，从mysql到hdfs

MySQLReader具有两种模式分别是TableMode和QuerySQLMode，前者使用table，column，where等属性声明需要同步的数据；后者使用一条SQL查询语句声明需要同步的数据。

{
    "job":{
        "content":[
            {
                "reader":{
                    "name":"mysqlreader",
                    "parameter":{
                        "column":[
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "connection":[
                            {
                                "jdbcUrl":[
                                    "jdbc:mysql://server15:3306/gmall2022"
                                ],
                                "table":[
                                    "base_province"
                                ]
                            }
                        ],
                        "splitPk":"id",
                        "password":"root",
                        "username":"root",
                        "where":"id >= 1"
                    }
                },
                "writer":{
                    "name":"hdfswriter",
                    "parameter":{
                        "column":[
                            {
                                "name":"id",
                                "type":"bigint"
                            },
                            {
                                "name":"name",
                                "type":"string"
                            },
                            {
                                "name":"region_id",
                                "type":"string"
                            },
                            {
                                "name":"area_code",
                                "type":"string"
                            },
                            {
                                "name":"iso_code",
                                "type":"string"
                            },
                            {
                                "name":"iso_3166_2",
                                "type":"string"
                            }
                        ],
                        "compress":"gzip",
                        "defaultFS":"hdfs://server16:8020",
                        "fieldDelimiter":"\t",
                        "fileName":"base_province",
                        "fileType":"text",
                        "path":"/base_province",
                        "writeMode":"append"
                    }
                }
            }
        ],
        "setting":{
            "speed":{
                "channel":"1"
            }
        }
    }
}

执行

[root@server16 datax]# python bin/datax.py ./job/base_province.json


经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-02], Description:[您填写的参数值不合法.]. - 您配置的path: [/base_province] 不存在, 请先在hive端创建对应的数据库和表.
[root@server16 datax]# hdfs dfs -mkdir /base_province


2022-04-25 21:48:56.178 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2022-04-25 21:48:44
任务结束时刻                    : 2022-04-25 21:48:56
任务总计耗时                    :                 11s
任务平均流量                    :               70B/s
记录写入速度                    :              3rec/s
读出记录总数                    :                  34
读写失败总数                    :                   0

DROP TABLE IF EXISTS base_province;
CREATE EXTERNAL TABLE base_province
(
    `id`         STRING COMMENT '编号',
    `name`       STRING COMMENT '省份名称',
    `region_id`  STRING COMMENT '地区ID',
    `area_code`  STRING COMMENT '地区编码',
    `iso_code`   STRING COMMENT '旧版ISO-3166-2编码，供可视化使用',
    `iso_3166_2` STRING COMMENT '新版IOS-3166-2编码，供可视化使用'
) COMMENT '省份表'
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    NULL DEFINED AS ''
    LOCATION '/base_province';

注意事项：

HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。

解决该问题的方案：

在Hive中建表时指定null值存储格式为空字符串（‘’）

2)MySQLReader之QuerySQLMode模式(不能切分task)
{
    "job":{
        "content":[
            {
                "reader":{
                    "name":"mysqlreader",
                    "parameter":{
                        "connection":[
                            {
                                "jdbcUrl":[
                                    "jdbc:mysql://server15:3306/gmall2022"
                                ],
                                "querySql":[
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password":"root",
                        "username":"root"
                    }
                },
                "writer":{
                    "name":"hdfswriter",
                    "parameter":{
                        "column":[
                            {
                                "name":"id",
                                "type":"bigint"
                            },
                            {
                                "name":"name",
                                "type":"string"
                            },
                            {
                                "name":"region_id",
                                "type":"string"
                            },
                            {
                                "name":"area_code",
                                "type":"string"
                            },
                            {
                                "name":"iso_code",
                                "type":"string"
                            },
                            {
                                "name":"iso_3166_2",
                                "type":"string"
                            }
                        ],
                        "compress":"gzip",
                        "defaultFS":"hdfs://server16:8020",
                        "fieldDelimiter":"\t",
                        "fileName":"base_province",
                        "fileType":"text",
                        "path":"/base_province",
                        "writeMode":"append"
                    }
                }
            }
        ],
        "setting":{
            "speed":{
                "channel":"1"
            }
        }
    }
}

DataX传参的用法如下，

在JSON配置文件中使用${param}引用参数，在提交任务时使用**-p"-Dparam=value"**传入参数值，具体示例如下。

注意：

需要先手动创建该日期目录，否则会报错

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-02], Description:[您填写的参数值不合法.]. - 您配置的path: [/base_province/2020-06-14] 不存在, 请先在hive端创建对应的数据库和表.

[root@server16 datax]# python bin/datax.py ./job/base_province_2.json -p"-Ddt=2020-06-14"

{
    "job":{
        "content":[
            {
                "reader":{
                    "name":"mysqlreader",
                    "parameter":{
                        "connection":[
                            {
                                "jdbcUrl":[
                                    "jdbc:mysql://server15:3306/gmall2022"
                                ],
                                "querySql":[
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password":"root",
                        "username":"root"
                    }
                },
                "writer":{
                    "name":"hdfswriter",
                    "parameter":{
                        "column":[
                            {
                                "name":"id",
                                "type":"bigint"
                            },
                            {
                                "name":"name",
                                "type":"string"
                            },
                            {
                                "name":"region_id",
                                "type":"string"
                            },
                            {
                                "name":"area_code",
                                "type":"string"
                            },
                            {
                                "name":"iso_code",
                                "type":"string"
                            },
                            {
                                "name":"iso_3166_2",
                                "type":"string"
                            }
                        ],
                        "compress":"gzip",
                        "defaultFS":"hdfs://server16:8020",
                        "fieldDelimiter":"\t",
                        "fileName":"base_province",
                        "fileType":"text",
                        "path":"/base_province/${dt}",
                        "writeMode":"append"
                    }
                }
            }
        ],
        "setting":{
            "speed":{
                "channel":"1"
            }
        }
    }
}
3) 同步hdfs到mysql
{
    "job":{
        "content":[
            {
                "reader":{
                    "name":"hdfsreader",
                    "parameter":{
                        "defaultFS":"hdfs://server16:8020",
                        "path":"/base_province/2020-06-14",
                        "column":[
                            "*"
                        ],
                        "fileType":"text",
                        "compress":"gzip",
                        "encoding":"UTF-8",
                        "nullFormat":"\\N",
                        "fieldDelimiter":"\t"
                    }
                },
                "writer":{
                    "name":"mysqlwriter",
                    "parameter":{
                        "username":"root",
                        "password":"root",
                        "connection":[
                            {
                                "table":[
                                    "test_province"
                                ],
                                "jdbcUrl":"jdbc:mysql://server15:3306/gmall2022?useUnicode=true&characterEncoding=utf-8"
                            }
                        ],
                        "column":[
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "writeMode":"replace"
                    }
                }
            }
        ],
        "setting":{
            "speed":{
                "channel":1
            }
        }
    }
}

(4)优化

关键优化参数如下：

参数说明
job.setting.speed.channel总并发数
job.setting.speed.record总record限速
job.setting.speed.byte总byte限速
core.transport.channel.speed.record单个channel的record限速，默认值为10000（10000条/s）
core.transport.channel.speed.byte单个channel的byte限速，默认值1024*1024（1M/s）

注意事项：

1.若配置了总record限速，则必须配置单个channel的record限速

2.若配置了总byte限速，则必须配置单个channe的byte限速

3.若配置了总record限速和总byte限速，channel并发数参数就会失效。因为配置了总record限速和总byte限速之后，实际channel并发数是通过计算得到的：

计算公式为:

min(总byte限速/单个channle的byte限速，总record限速/单个channel的record限速)

**配置示例：

{
    "core": {
        "transport": {
            "channel": {
                "speed": {
                    "byte": 1048576 //单个channel byte限速1M/s
                }
            }
        }
    },
    "job": {
        "setting": {
            "speed": {
                "byte" : 5242880 //总byte限速5M/s
            }
        },
        ...
    }
}

当提升DataX Job内Channel并发数时，内存的占用会显著增加，因为DataX作为数据交换通道，在内存中会缓存较多的数据。例如Channel中会有一个Buffer，作为临时的数据交换的缓冲区，而在部分Reader和Writer的中，也会存在一些Buffer，为了防止OOM等错误，需调大JVM的堆内存。

建议将内存设置为4G或者8G，这个也可以根据实际情况来调整。

调整JVM xms xmx参数的两种方式：一种是直接更改datax.py脚本；另一种是在启动的时候，加上对应的参数，如下：

python datax/bin/datax.py --jvm="-Xms8G -Xmx8G" /path/to/your/job.json
undo_try
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
DATAX说明书最新-20180825
08-26
完全自己手工从github上复制过来的，又对文档进行格式修改。
datax的使用以及参数解释，快速入门版
weixin_67485772的博客
06-13 5478
datax的使用以及参数解释，快速入门版
大数据学习之DataX
最新发布
m0_58050808的博客
06-25 1130
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
DataX介绍
m0_61607827的博客
03-12 7万+
DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX设计理念 DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和..
DataX
程序工厂
03-12 3880
DataX的环境搭建以及简单测试 什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(
DataX使用指南
热门推荐
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
一文带你看懂DataX离线同步工具(图文并茂，看完就懂)
丷江南南的博客
06-19 2万+
DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。阿里云DataX源码用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将 Reader 和 Writer 的信息配置在一个 json 文件。
大数据项目之线上问诊离线数仓2023年 视频教程 下载因为太大存百度云盘2.zip
06-23
156-生成datax配置文件.mp4 157-ads导数据到Mysql脚本.mp4 158-dolphinscheduler简介.mp4 159-dolphinscheduler部署说明.mp4 160-安装dolphinscheduler.mp4 161-安全中心配置.mp4 162-定义工作流与执行工作流....
大数据项目之线上问诊离线数仓2023年 视频教程 下载因为太大存百度云盘1.zip
06-23
156-生成datax配置文件.mp4 157-ads导数据到Mysql脚本.mp4 158-dolphinscheduler简介.mp4 159-dolphinscheduler部署说明.mp4 160-安装dolphinscheduler.mp4 161-安全中心配置.mp4 162-定义工作流与执行工作流....
大数据项目之线上问诊离线数仓2023年 视频教程 下载因为太大存百度云盘3.zip
06-23
156-生成datax配置文件.mp4 157-ads导数据到Mysql脚本.mp4 158-dolphinscheduler简介.mp4 159-dolphinscheduler部署说明.mp4 160-安装dolphinscheduler.mp4 161-安全中心配置.mp4 162-定义工作流与执行工作流....
大数据项目之线上问诊离线数仓2023年 视频教程 下载因为太大存百度云盘4.zip
06-23
156-生成datax配置文件.mp4 157-ads导数据到Mysql脚本.mp4 158-dolphinscheduler简介.mp4 159-dolphinscheduler部署说明.mp4 160-安装dolphinscheduler.mp4 161-安全中心配置.mp4 162-定义工作流与执行工作流....
datax数据迁移插件-db2reader
01-16
DataX是一个企业级的离线数据同步框架，它支持多种数据源之间的数据迁移，包括关系型数据库、NoSQL、Hadoop生态等。其设计理念是通过简单的配置，实现复杂的数据同步任务。DB2Reader作为DataX的一部分，专门负责从...
datax数据迁移插件-db2writer
01-16
2. DB2数据库概述 DB2是由IBM开发的关系型数据库管理系统，广泛应用于企业级应用，特别是在金融、电信等行业。它提供了强大的事务处理能力、高可用性和安全性，支持SQL标准，且具有良好的性能和扩展性。 3. DB2...
datax使用python3的替换bin文件
01-05
在IT行业中，DataX是一个广泛使用的数据同步工具，它能够高效地进行大数据迁移，支持多种数据源间的双向数据同步。通常，DataX是用Java编写的，但有时我们需要结合Python来实现更灵活的数据处理和定制化需求。在这个...
java使用datax增量同步代码
04-19
Java 使用 DataX 进行增量同步是大数据领域中常见的数据迁移任务，DataX 是阿里开源的一个强大、高效的数据同步工具，它可以实现不同数据存储之间的数据迁移。本篇将详细讲解如何在 Java 项目中利用 DataX 实现增量...
Datax安装及使用文档.doc
09-23
DataX 安装及使用文档 DataX 是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统（RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。DataX 插件分为 Reader ...
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
星光不问赶路人，岁月不负有心人
06-29 1万+
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
详解DataX及使用
wenqi
04-26 2万+
DataX概述 简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 支持数据源 DataX架构原理 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 框架设
DataX 概述、部署、数据同步运用示例
JIE的博客 --- moon_coder
09-15 3214
DataX是阿里巴巴集团开源的、通用的数据抽取工具，广泛使用的离线数据同步工具/平台。它设计用于支持多种数据源之间的高效数据传输，可以实现不同数据源之间的数据同步、迁移、ETL（抽取、转换、加载）等数据操作。多数据源支持：DataX支持多种数据源，包括关系型数据库（如 MySQL、Oracle、SQL Server）、NoSQL 数据库（如 MongoDB、HBase、Redis）、HDFS、FTP、Hive 等。扩展性。
如何离线安装datax驱动ClickHouse
06-08
如果您需要在没有网络连接的环境下安装DataX的ClickHouse驱动，可以通过以下步骤进行离线安装： 1. 在有网络连接的环境下，下载ClickHouse驱动的jar包，并将其复制到一个本地目录中。 2. 在有网络连接的环境下，使用DataX自带的插件管理工具下载ClickHouse插件并将其解压缩到本地目录中。 您可以使用以下命令下载ClickHouse插件： python datax.py plugin download --name clickhousereader --version 0.0.1 --target-dir /path/to/local/dir 其中，/path/to/local/dir是您保存插件的本地目录。 3. 将ClickHouse驱动的jar包复制到ClickHouse插件的lib目录下。 4. 在离线环境下，将ClickHouse插件的整个目录复制到DataX的plugin目录下。 5. 在DataX的job配置文件中，使用ClickHouse插件进行数据读写操作。 希望这些步骤对您有所帮助！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值