一文带你看懂DataX离线同步工具(图文并茂，看完就懂)

已于 2024-04-18 16:13:21 修改
阅读量2w 收藏 137
点赞数 35
分类专栏： 电商离线数仓项目 文章标签： java 大数据 开发语言 linux hadoop
于 2023-06-19 19:05:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/f986153489/article/details/131289275
版权

目录

一. DataX简介

1.1 DataX概述

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

源码地址：阿里云DataX源码

1.2 DataX支持的数据源

请添加图片描述

二. DataX架构原理

2.1 DataX设计理念

为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

请添加图片描述

2.2 DataX框架设计

DataX 本身作为离线数据同步框架，采用 Framework + plugin架构构建。将数据源读取和写入抽象成为 Reader/Writer 插件，纳入到整个同步框架中。

请添加图片描述

其中：
Reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。
Writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Framework：用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

2.3 DataX运行流程

请添加图片描述

注：
Job：单个数据同步的作业，称为一个Job，一个Job启动一个进程。
Task：根据不同数据源的切分策略，一个Job会切分为多个Task，Task是DataX作业的最小单元，每个Task负责一部分数据的同步工作。
TaskGroup：Scheduler调度模块会对Task进行分组，每个Task组称为一个Task Group。每个Task Group负责以一定的并发度运行其所分得的Task，单个Task Group的并发度为5。
Reader–>Channel–>Writer：每个Task启动后，都会固定启动Reader–>Channel–>Writer的线程来完成同步工作。

2.4 DataX调度决策思路

举例来说，用户提交了一个 DataX 作业，并且配置了总的并发度为 20，目的是对一个有 100 张分表的 mysql 数据源进行同步。DataX 的调度决策思路是：

1）DataX Job 根据分库分表切分策略，将同步工作分成 100 个 Task。

2）根据配置的总的并发度 20，以及每个 Task Group 的并发度 5，DataX 计算共需要分配 4 个TaskGroup。

3）4 个 TaskGroup 平分 100 个 Task，每一个 TaskGroup 负责运行 25 个 Task。

注：默认DataX会把Mysql中的1个表切分成1个Task。

2.5 DataX 与 Sqoop 对比

请添加图片描述

三. DataX使用

3.1 DataX使用概述

3.1.1 DataX任务提交命令

用户只需根据自己同步数据的数据源和目的地选择相应的Reader和 Writer，并将 Reader 和 Writer 的信息配置在一个 json 文件中，然后执行如下命令提交数据同步任务即可：

请添加图片描述

3.1.2 DataX配置文件格式

使用如下命令查看 DataX 配置文件模板：

请添加图片描述

配置文件模板如下，json 最外层是一个 job，job 包含setting 和 content 两部分，其中setting 用于对整个 job 进行配置，content 用户配置数据源和目的地。

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [],
                        "connection": [
                            {
                                "jdbcUrl": [],
                                "table": []
                            }
                        ],
                        "password": "",
                        "username": "",
                        "where": ""
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [],
                        "compress": "",
                        "defaultFS": "",
                        "fieldDelimiter": "",
                        "fileName": "",
                        "fileType": "",
                        "path": "",
                        "writeMode": ""
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}

请添加图片描述

Reader 和 Writer 的具体参数可参考官方文档，地址如下：DataX配置

3.2 同步MySQL数据到HDFS案例

案例要求：同步 gmall 数据库中 base_province 表数据到 HDFS 的/base_province 目录

需求分析：要实现该功能，需选用 MySQLReader 和 HDFSWriter，MySQLReader 具有两种模式分别是 TableMode 和 QuerySQLMode，前者使用 table,column,where 等属性声明需要同步的数据；后者使用一条 SQL 查询语句声明需要同步的数据。

下面分别使用两种模式进行演示。

3.2.1 MySQLReader之TableMode

1）编写配置文件

（1）创建配置文件 base_province.json

请添加图片描述

(2)内容如下：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "where": "id>=3",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "table": [
                                    "base_province"
                                ]
                            }
                        ],
                        "password": "000000",
                        "splitPk": "",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

2）配置文件说明

（1）Reader 参数说明

请添加图片描述

(2) Writer 参数说明

请添加图片描述

注意事项：
HFDS Writer 并未提供 nullFormat 参数：也就是用户并不能自定义 null 值写到 HFDS 文件中的存储格式。默认情况下，HFDS Writer 会将 null 值存储为空字符串（''），而 Hive默认的null 值存储格式为\N。所以后期将 DataX 同步的文件导入 Hive 表就会出现问题。
解决该问题的方案有两个：
一是修改 DataX HDFS Writer 的源码，增加自定义 null 值存储格式的逻辑。
二是在 Hive 中建表时指定 null 值存储格式为空字符串（’’）,如：

DROP TABLE IF EXISTS base_province;
CREATE EXTERNAL TABLE base_province
(
 `id` STRING COMMENT '编号',
 `name` STRING COMMENT '省份名称',
 `region_id` STRING COMMENT '地区 ID',
 `area_code` STRING COMMENT '地区编码',
 `iso_code` STRING COMMENT '旧版 ISO-3166-2 编码，供可视化使用',
 `iso_3166_2` STRING COMMENT '新版 IOS-3166-2 编码，供可视化使用'
) COMMENT '省份表'
 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
 NULL DEFINED AS ''
 LOCATION '/base_province/';

（3）Setting 参数说明

请添加图片描述

3）提交任务

（1）在 HDFS 创建/base_province 目录

使用DataX向 HDFS 同步数据时，需确保目标路径已存在：

请添加图片描述

登录HDFS-namenode节点查看目录生成情况:

请添加图片描述

（2）执行如下命令
请添加图片描述

4）查看结果

（1）DataX 打印日志

请添加图片描述

查看数据库原数据，发现原数据有34条，而DataX打印日志最终读出只有32条：

请添加图片描述

为什么出现上述情况呢？
原因是，我们的base_province.json配置文件中有where限定条件，该条件只筛选表中id>=3的数据记录，所以最终读出的才是32条！

请添加图片描述

（2）查看 HDFS 文件

请添加图片描述

请添加图片描述

注：此处需要用管道，借助zcat命令查看数据，否则会出现乱码！

3.2.2 MySQLReader之QuerySQLMode

1）编写配置文件

（1）新增配置文件 base_province_sql.json

请添加图片描述

（2）配置文件内容如下:

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "querySql": [
                                    "select  id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "000000",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

2）配置文件说明

（1）Reader 参数说明

请添加图片描述

3）提交任务

（1）清空历史数据

请添加图片描述

（2）执行如下命令

请添加图片描述

4）查看结果

（1）DataX 打印日志

请添加图片描述

（2）查看 HDFS 文件

请添加图片描述

可以看到MySQLReader的两种模式最终都达到了同样的效果，那么这两种mode有什么区别?
答：TableMode只能查询一张表，而QuerySQLMode可以通过join等操作关联查询多张表，并且可以完成更复杂的查询工作(通过修改json文件中reader模块中的querySql语句).

3.2.3 DataX传参

通常情况下，离线数据同步任务需要每日定时重复执行，故 HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此 DataX 配置文件中 HDFS Writer 的path参数的值应该是动态的。为实现这一效果，就需要使用 DataX 传参的功能。

DataX 传参的用法如下，在 JSON 配置文件中使用${param}引用参数，在提交任务时使用-p"-Dparam=value"传入参数值，具体示例如下。

1）编写配置文件

（1）修改配置文件 base_province.json

请添加图片描述

（2）配置文件内容如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "where": "id>=3",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "table": [
                                    "base_province"
                                ]
                            }
                        ],
                        "password": "000000",
                        "splitPk": "",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province/${dt}",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

2）提交任务

（1）创建目标路径

请添加图片描述

（2）执行如下命令

请添加图片描述

注：此处通过-p"-Ddt=2023-06-19"命令来实现传入到指定目录下。

3）查看结果

请添加图片描述

3.3 同步HDFS数据到MySQL案例

案例要求：同步 HDFS 上的/base_province 目录下的数据到 MySQL gmall 数据库下的test_province 表。

需求分析：要实现该功能，需选用 HDFSReader 和 MySQLWriter。

1）编写配置文件

（1）创建配置文件 test_province.json

请添加图片描述

（2）配置文件内容如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "defaultFS": "hdfs://hadoop102:8020",
                        "path": "/base_province",
                        "column": [
                            "*"
                        ],
                        "fileType": "text",
                        "compress": "gzip",
                        "encoding": "UTF-8",
                        "nullFormat": "\\N",
                        "fieldDelimiter": "\t"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "000000",
                        "connection": [
                            {
                                "table": [
                                    "test_province"
                                ],
                                "jdbcUrl": "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&characterEncoding=utf-8"
                            }
                        ],
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "writeMode": "replace"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

2）配置文件说明

（1）Reader 参数说明

请添加图片描述

（2）Writer 参数说明

请添加图片描述

注：此处WriteMode有三种模式，分别如下:
insert into(insert): 当要写入的Mysql表无主键时，为正常写入；当有主键时，一旦出现重复数据，会出现数据重复异常。
replace into(replace) : 要求写入的Mysql表必须有主键，且当主键存在重复时，会delete对应整行数据，然后再insert。
ON DUPLICATE KEY UPDATE(update): 要求写入的Mysql表必须有主键，该模式是在原有数据记录的基础上作修改，而不做删除操作。

3）提交任务

（1）在 MySQL 中创建 gmall.test_province 表

DROP TABLE IF EXISTS `test_province`;
CREATE TABLE `test_province` (
 `id` bigint(20) NOT NULL,
 `name` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 
NULL,
 `region_id` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 
NULL,
 `area_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 
NULL,
 `iso_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT 
NULL,
 `iso_3166_2` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL 
DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = 
Dynamic;

（2）执行如下命令

请添加图片描述

4）查看结果

（1）DataX 打印日志

请添加图片描述

（2）查看 MySQL 目标表数据

请添加图片描述

为什么DataX日志中读出记录总数为64，而实际写入Mysql中的数据只有32条呢？
由于DataX从HDFS中读取的时候，会从根目录依次读取其中文件与子目录，而2023-06-19子目录下又保存有一份与根目录下gz文件同样的文件，所以DataX实际读取的数据为2*32=64条：
请添加图片描述而又因为Writer写入的策略选用为replace，该策略会对重复的数据作覆盖(仅保留其中一份数据)，所以写入Mysql中的数据就只有32条:
请添加图片描述

四. DataX优化

4.1 速度控制

DataX3.0 提供了包括通道(并发)、记录流、字节流三种流控模式，可以随意控制你的作业速度，让你的作业在数据库可以承受的范围内达到最佳的同步速度。

关键优化参数如下：

请添加图片描述

注意事项：
1.若配置了总 record 限速，则必须配置单个 channel 的 record 限速(避免类似“数据倾斜”的现象出现)
2.若配置了总 byte 限速，则必须配置单个 channe 的 byte 限速(避免类似“数据倾斜”的现象出现)
3.若配置了总 record 限速和总 byte 限速，channel 并发数参数就会失效。因为配置了总record 限速和总 byte 限速之后，实际 channel 并发数是通过计算得到的：
计算公式为:
min(总 byte 限速/单个 channel 的 byte 限速，总 record 限速/单个 channel 的 record 限速)

4.2 内存调整

当提升 DataX Job 内 Channel 并发数时，内存的占用会显著增加，因为 DataX 作为数据交换通道在内存中会缓存较多的数据。例如 Channel 中会有一个 Buffer，作为临时的数据交换的缓冲区，而在部分 Reader 和 Writer 的中，也会存在一些 Buffer，为了防止 OOM 等错误，需调大JVM的堆内存。

建议将内存设置为 4G 或者 8G，这个也可以根据实际情况来调整。

调整 JVM xms xmx 参数的两种方式：一种是直接更改 datax.py 脚本；另一种是在启动的时候，加上对应的参数，如下：

python datax/bin/datax.py --jvm="-Xms8G -Xmx8G" /path/to/your/job.json
丷江南南
关注
  • 35
    点赞
  • 踩
  • 137
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
大数据DataX（二）：DataX核心架构
Lansonli（蓝深李）的博客
02-17 564
DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本文按一个DataX作业生命周期的时序图，从整体架构设计非常简要说明DataX各个模块相互关系。举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。
数据同步工具datax-web可视化工具
05-09
数据同步工具datax-web可视化工具，可实现跨数据库数据同步，项目实际使用实践请大家放心下载。
数据源同步工具DATAX
05-06
阿里开源的ETL工具，可以很好地用于不同数据元之间的数据同步
DataX（DataX简介、部署、同步数据）
最新发布
2301_77836489的博客
06-09 1252
DataX（DataX简介、部署、同步数据）
DataX-一款稳定高效的数据同步工具-从安装、启动、配置、使用总结，看这篇让你一步到位
weixin_43805705的博客
05-25 2669
DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具；致力于实现包括关系型数据库MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute、DRDS等各种异结构数据源之间稳定高效的数据同步功能。 Datax-web基于datax，增加了web界面，把Datax基于命令行任务通过java代码串联了起来，并提供了可视化的任务管理。
DataX使用指南
热门推荐
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
阿里云开源离线同步工具DataX3.0介绍
Xlucas的博客
12-08 5489
一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负
datax的使用以及参数解释，快速入门版
weixin_67485772的博客
06-13 5345
datax的使用以及参数解释，快速入门版
Offline Sync - 在离线状态下保持数据同步的解决方案
gitblog_00005的博客
03-18 875
Offline Sync - 帮助您的应用在离线状态下保持数据同步 Offline Sync 是一款强大的 JavaScript 库，旨在帮助开发人员构建支持离线状态的应用程序。它可以帮助您实现跨设备和网络环境的数据同步功能，确保您的用户始终能够访问最新的信息。 什么是 Offline Sync？ Offline Sync 是一个轻量级的 JavaScript 库，用于管理应用程序中的数据同步。它...
来自于alibaba的Datax使用
鲜花怒马少年时，一日看尽长安花
11-26 2610
来自于alibaba的Datax使用 一. 介绍 DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 二. 特征 DataX本身作为数据同步框架，将不同数据源的同步抽象
记一次DataX-MysqlReader性能优化
Shadow_Light的博客
09-12 1万+
一、问题背景 最近在做Datax从阿里云rds数据库到Hive数据同步任务时，发现同步耗时很久，500万的数据同步配置了splitPk并配置了50个线程并发需要212s，任务同步的平均速率一直保持在3-4M/s，而本地的Mysql测试数据库同步时不分片的平均速率就能到20M/s。 二. 集群环境 Rds环境：8000iops; 8core; 16g内存 分片字段类型：bigint类...
datax 数据库同步工具 window 下bat 启动命令
11-12
数据库同步工具datax 在window下启动的bat 处理工具，启动将文件放在datax 工具中的bin目录下 启动命令 ./start.bat /job/json文件名称.json json文件在datax目录下
DataX Web分布式数据同步工具-其他
06-12
DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可...
java使用datax增量同步代码
04-19
Java 使用 DataX 进行增量同步是大数据领域中常见的数据迁移任务，DataX 是阿里开源的一个强大、高效的数据同步工具，它可以实现不同数据存储之间的数据迁移。本篇将详细讲解如何在 Java 项目中利用 DataX 实现增量...
datax 数据库同步工具 centos 下shell启动命令
11-13
在服务器端 通过.sh shell脚本启动datax工具 启动脚本放置在datax的bin目录下，进入bin目录通过./start.sh /job/json文件名称 启动datax 工具
datax（一）alibaba datax简介
qq_31957747的博客
11-03 5578
github：https://github.com/alibaba/DataX 目录 一、datax简介 1.1 原理简介 1.1.1 概览 1.1.2 框架设计 1.1.3 核心架构 1.2 特点 1.3 使用场景 二、data使用方式、注意点 2.1 基本使用 2.2 数据预处理 2.2.1 transformer例子 2.2.2 已有trasformer列表 2.2.3扩展transformer方法 2.3流控、并发调整 2.3.1 流控、并发配置项 2.3...
DataX介绍
顺其自然~专栏
07-18 935
1、除比较大的表之外，速度明显比sqoop快（表数据量3000万分界点并且表没有自增的整型主键，前面是sqoop 22:27 - 35:58 一共751s,后面是指定5个channel时间162s，第三个是一个channel时间是471s，大表sqoop也比较慢，使用多个map，然后去重，分为两个阶段）。2、Datax的速度可以配置，可以根据我们的实际情况控制3、日志相比于sqoop比较完善和人性化。4、对于脏数据的处理。
Datax多源数据同步工具介绍、详解及部署使用
T_Ghost的博客
01-05 2743
datax介绍及其使用方式
datax数据同步工具效率怎么样
09-23
DataX是一个用于数据同步的工具，它具有高效的同步速度和稳定的数据量。DataX可以用于实现各种异构数据源之间的离线同步，包括关系型数据库、HDFS、Hive、ODPS、HBase、FTP等。DataX采用星型数据链路的设计，将复杂的网状同步链路简化为连接各种数据源的中间传输载体，实现无缝数据同步。对于大数据量的同步，DataX提供了增量同步的功能，以避免在同步过程中出现中断的情况。 总体而言，DataX是一个高效的数据同步工具，可以满足数据同步的需求。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丷江南南

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值