电商数仓学习-DataX的使用

已于 2022-02-16 15:07:19 修改
阅读量967 收藏 3
点赞数
分类专栏： DataX 数仓同步工具 离线数仓 文章标签： big data
于 2022-02-16 15:05:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunweijie_cn/article/details/122950205
版权

全量表同步工具DataX

前言

前面已经说明全量表适用DataX工具进行同步，因此对DataX进行一个简单的学习

一、DataX简介

1.DataX概述

       DataX 是一个离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

2.DataX支持的数据源

在这里插入图片描述
从图上看，数仓用到的数据源基本上都支持。

二、DataX架构原理

1.DataX设计理念

       为了解决异构数据源（异构数据源指的是相同的数据在不同的地方存储的结构不同）同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步（这里不管是从哪里读的数据，统统转化为DataX规定的结构，再根据要写入的数据源的类型，转化为对应的结构）。

2.DataX框架设计

       DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
在这里插入图片描述
FrameWork是整个的核心，不管数据源从哪来，到这里都转化为固定的数据结构
PS：流控：速度的控制

3.DataX运行流程

下图是一个DataX作业生命周期的时序图：
在这里插入图片描述
一个Job是一个进程，一个Task是一个线程

4.DataX调度决策思路

举一个例子，用户提交了一个DataX作业（一个Job），并且配置了总的并发度为20，目的是对一个有100张分表（默认1张表为一个Task，实际上一张表可以继续切分为多个Task）的mysql数据源进行同步。DataX的调度决策思路是：
1）DataX Job根据分库分表切分策略，将同步工作分成100个Task。
2）根据配置的总的并发度20（可以同时运行20个Task），以及每个Task Group的并发度5（每个Task Group可以同时运行5个Task），DataX计算共需要分配4个TaskGroup。
3）4个TaskGroup平分100个Task，每一个TaskGroup负责运行25个Task。

5.DataX和Sqoop对比

功能DataXSqoop
运行模式单进程多线程MR
分布式不支持，可以通过调度系统规避支持（MR就是分布式）
流控有流控功能需要定制
统计信息已有一些统计，上报需定制没有，分布式的数据收集不方便
数据校验在core部分有校验功能没有，分布式的数据收集不方便
监控需要定制需要定制

综上，DataX功能更加强大，速度更加快，但是DataX对于数据格式的支持较少（只支持gzip压缩格式，lzo等都不支持）

三、DataX部署

1.下载安装

第一步，先下载，下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
第二步，解压：tar -zxvf datax.tar.gz -C /opt/module/
第三步，自检：python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json
出现如下内容，则表明安装成功：
在这里插入图片描述

四、DataX使用

1.DataX任务提交命令

命令：python bin/datax.py path/to/your/job.json (job.json是自己编写的同步文件)

2.DataX配置文件格式

查看DataX配置文件模板命令：python bin/datax.py -r mysqlreader -w hdfswriter
上面的mysqlreader和hdfswriter可以根据自己的需要修改为对应的输入源和输出源
在这里插入图片描述
上图是查询给出的模板，json最外层是一个job，job包含setting和content两部分，setting是对整个job的配置，content是用于配置数据源和数据的目的地。
还可以通过官方文档查看对应的Reader和Writer的具体参数：https://github.com/alibaba/DataX/blob/master/README.md https://gitee.com/mirrors/DataX/blob/master/README.md
在这里插入图片描述
点击对应的读、写，可以查看对应的参数

3.DataX传参

       通常情况下，离线数据同步任务需要每日定时重复执行，故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。为实现这一效果，就需要使用DataX传参的功能。
DataX传参的用法如下，在JSON配置文件中使用${param}引用参数，在提交任务时使用-p"-Dparam=value"传入参数值，具体示例如下：
在需要动态传入参数的地方这样写：

	"fileType": "text",
    "path": "/base_province/${dt}",
    "writeMode": "append"

其中dt就是要传入的参数名
在提交任务时，使用命令：python bin/datax.py -p"-Ddt=2020-06-14" job/base_province.json

五、DataX案例

1.同步MySQL数据到HDFS案例

案例需求：同步gmall数据库中base_province表数据到HDFS的/base_province目录
需求分析：要实现该功能，需选用MySQLReader和HDFSWriter，MySQLReader具有两种模式分别是TableMode和QuerySQLMode，前者使用table，column，where等属性声明需要同步的数据；后者使用一条SQL查询语句声明需要同步的数据。

1）使用TableMode方式实现

首先，创建配置文件：vim /opt/module/datax/job/base_province.json
编写配置文件：

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "where":"id>=3",
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "base_province"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gamll"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fileType": "text",
                        "path": "/base_province",
                        "fileName": "base_province",
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": "\t",
                        "compress":"gzip"
                    }
                }
            }
        ]
    }
}

注：mysqlreader里的jdbcUrl是一个数组，可以写多个url（阿里内部支持多个url，外部写一个即可），但是这里写多个的意思是一个数据库连接的多种参数形式，比如："jdbc:mysql://bad_ip:3306/database", "jdbc:mysql://127.0.0.1:bad_port/database", "jdbc:mysql://127.0.0.1:3306/database"这三种形式是为了保障至少有一个能连接上这个数据库，而不支持连接多个数据库。
hdfswriter里的writeMode参数为append时，写入数据不做任何处理，会在fileName后加一些字符，保证文件名不会冲突；参数为nonConflict时，如果目录下有fileName前缀的文件，直接报错。
最终结果：
在这里插入图片描述
红色部分就是为了防止文件重复加的字符

2）TableMode方式的参数说明

Reader参数说明：在这里插入图片描述
Writer参数说明：
在这里插入图片描述
注意事项：
       HDFS Writer没有提供nullFormat参数，这意味着用户无法指定null值写到HDFS的存储格式。HDFS默认将null值存储为空字符串("")，而Hive默认的null值存储格式为\N，因此如果不对null值做处理，在查询表的时候会将null值显示为""。
解决方法一：修改HDFS Writer源码，增加自定义null值存储格式的逻辑，可以参考https://blog.csdn.net/u010834071/article/details/105506580（没有阅读代码的基础不推荐）
解决方法二：在Hive建表时自定义null值的存储格式为空字符串（推荐），如下：

DROP TABLE IF EXISTS base_province;
CREATE EXTERNAL TABLE base_province
(
    `id`         STRING COMMENT '编号',
    `name`       STRING COMMENT '省份名称',
    `region_id`  STRING COMMENT '地区ID',
    `area_code`  STRING COMMENT '地区编码',
    `iso_code`   STRING COMMENT '旧版ISO-3166-2编码，供可视化使用',
    `iso_3166_2` STRING COMMENT '新版IOS-3166-2编码，供可视化使用'
) COMMENT '省份表'
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    NULL DEFINED AS ''
    LOCATION '/base_province/';

NULL DEFINED AS ‘’ 这里将’'定义为null
PS：Hive默认使用Hadoop的压缩格式，因此可以查出来gzip类型的压缩文件中的数据，Hadoop不支持的压缩格式需要额外去写
 
Setting参数说明：
在这里插入图片描述
上面的errorLimit一般不配，采用默认

3）使用QuerySQLMode方式实现

配置文件内容如下：

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                          "password": "123456",
                          "connection": [
                            {
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3;"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gamll"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fileType": "text",
                        "path": "/base_province",
                        "fileName": "base_province",
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": "\t",
                        "compress":"gzip"
                    }
                }
            }
        ]
    }
}

在使用了querySql后，第一种方式的table、column这些配置失效（一般直接删掉），即querySql的优先级大于column、where选项。

4）QuerySQLMode配置说明

在这里插入图片描述

5）提交运行（两种方式都一样）

第一步，在向HDFS同步数据前，要确保目标路径已存在：hadoop fs -mkdir /base_province
第二步，进入DataX根目录，执行：python bin/datax.py job/base_province.json
第三步，查看DataX运行结果：

2021-10-13 11:13:14.930 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-10-13 11:13:03
任务结束时刻                    : 2021-10-13 11:13:14
任务总计耗时                    :                 11s
任务平均流量                    :               66B/s
记录写入速度                    :              3rec/s
读出记录总数                    :                  32
读写失败总数                    :                   0

第四步，查看HDFS文件，命令（linux查看gzip文件命令）：hadoop fs -cat /base_province/* | zcat

3	山西	1	140000	CN-14	CN-SX
4	内蒙古	1	150000	CN-15	CN-NM
5	河北	1	130000	CN-13	CN-HE
6	上海	2	310000	CN-31	CN-SH
7	江苏	2	320000	CN-32	CN-JS
8	浙江	2	330000	CN-33	CN-ZJ
9	安徽	2	340000	CN-34	CN-AH
10	福建	2	350000	CN-35	CN-FJ
11	江西	2	360000	CN-36	CN-JX
12	山东	2	370000	CN-37	CN-SD
14	台湾	2	710000	CN-71	CN-TW
15	黑龙江	3	230000	CN-23	CN-HL
16	吉林	3	220000	CN-22	CN-JL
17	辽宁	3	210000	CN-21	CN-LN
18	陕西	7	610000	CN-61	CN-SN
19	甘肃	7	620000	CN-62	CN-GS
20	青海	7	630000	CN-63	CN-QH
21	宁夏	7	640000	CN-64	CN-NX
22	新疆	7	650000	CN-65	CN-XJ
23	河南	4	410000	CN-41	CN-HA
24	湖北	4	420000	CN-42	CN-HB
25	湖南	4	430000	CN-43	CN-HN
26	广东	5	440000	CN-44	CN-GD
27	广西	5	450000	CN-45	CN-GX
28	海南	5	460000	CN-46	CN-HI
29	香港	5	810000	CN-91	CN-HK
30	澳门	5	820000	CN-92	CN-MO
31	四川	6	510000	CN-51	CN-SC
32	贵州	6	520000	CN-52	CN-GZ
33	云南	6	530000	CN-53	CN-YN
13	重庆	6	500000	CN-50	CN-CQ
34	西藏	6	540000	CN-54	CN-XZ
6）两种方式对比
方式优点缺点
TableMode可以切分任务（channel并发度不能填1，splitPk要填值）
QuerySQLMode固定不能切分任务，一个SQL语句不能切分，如果写多个才可能切分

2.同步HDFS数据到MySQL案例

案例要求：同步HDFS上的/base_province目录下的数据到MySQL gmall 数据库下的test_province表。
需求分析：要实现该功能，需选用HDFSReader和MySQLWriter。

1）配置文件编写

创建配置文件：vim /opt/module/datax/job/base_province.json
编写配置文件：

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/base_province",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "column": [
                              "*"
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t",
                        "compress": "gzip",
                        "nullFormat": "\\N"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "replace",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "test_province"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
2）配置文件参数说明

HDFS Reader参数说明：
在这里插入图片描述
这里column中的列的类型是DataX里的类型，不是HDFS里的类型
nullFormat是将\N识别为null值
MySQL Writer参数说明：
在这里插入图片描述
writeMode参数为insert时，当主键/唯一性索引冲突时会写不进去冲突的行；当参数为replace时，没有遇到主键/唯一性索引冲突时，与 insert into 行为一致，冲突时会用新行替换原有行所有字段。
注意：数据写入MySQL里的表时，要先确保这个表存在，若不存在，要先创建。

3）提交运行

第一步，在MySQL中创建gmall.test_province表：

DROP TABLE IF EXISTS `test_province`;
CREATE TABLE `test_province`  (
  `id` bigint(20) NOT NULL,
  `name` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `region_id` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `area_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_3166_2` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

第二步，进入DataX个目录，执行命令：python bin/datax.py job/test_province.json
最后，查看DataX结果：

2021-10-13 15:21:35.006 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2021-10-13 15:21:23
任务结束时刻                    : 2021-10-13 15:21:35
任务总计耗时                    :                 11s
任务平均流量                    :               70B/s
记录写入速度                    :              3rec/s
读出记录总数                    :                  34
读写失败总数                    :                   0

查看MySQL目标表数据：
在这里插入图片描述

六、DataX优化

1.速度控制

       DataX提供了包括通道(并发)、记录流、字节流三种流控模式，可以随意控制你的作业速度，让你的作业在数据库可以承受的范围内达到最佳的同步速度。
关键优化参数如下：

参数说明
job.setting.speed.channel总并发数
job.setting.speed.record总record限速
job.setting.speed.byte总byte限速
core.transport.channel.speed.record单个channel的record限速，默认值为10000（10000条/s）
core.transport.channel.speed.byte单个channel的byte限速，默认值1024*1024（1M/s）

注意事项：
1）如果配置了总的record限速，就必须配置单个channel的record限速
2）如果配置了总的byte限速，就必须配置单个的channel的byte限速
3）如果配置了总的record和byte限速，channel并发数参数就会失效。因为配置了总record限速和总byte限速之后。实际channel并发数是通过计算得到的。

计算公式：
min（总byte限速/单个channel的byte限速，总record限速/单个channel的record限速）

例如设置channel为10，总record限速为80000，单个record限速为10000。首先，即使只设置channel为10，不设置别的，并发度也不一定正好为10，只是尽可能的贴近于这个值；其次因为总record限速80000，单个record限速10000，所以有8个record，小于10，限制了channel，最终并发度贴近于8。

配置实例：

{
    "core": {
        "transport": {
            "channel": {
                "speed": {
                    "byte": 1048576 //单个channel byte限速1M/s
                }
            }
        }
    },
    "job": {
        "setting": {
            "speed": {
                "byte" : 5242880 //总byte限速5M/s
            }
        },
        ...
    }
}

2.内存调整

       DataX Job内的Channel并发数提高时，内存的占用也会显著增加，因为DataX作为数据交换通道（数据源和目的地之间的通道），在内存中会缓存较多的数据。例如Channel中会有一个Buffer，作为临时的数据交换的缓冲区，而在部分Reader和Writer中，也会存在一些Buffer。因此为了防止OOM（内存溢出）等错误，需要调大JVM的堆内存。
第一种调整方式：直接更改datax.py脚本，找到-Xms（是JVM初始分配的内存，设置太大可能直接就起不来）和-Xmx（是JVM分配的最大内存）这两个地方，修改为需要的内存大小
第二种调整方式：在使用命令提交Job的时候，加上一个参数，例如python datax/bin/datax.py --jvm="-Xms8G -Xmx8G" /path/to/your/job.json
PS：内存一般可以设置为4G或者8G

自学大数据的菜鸡
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ETL-DataX-ETL-DataX
04-13
1、大数据异构数据源-数据采集工具 2、DataX产品说明书
大数据各工具传参格式
Jatham_C的博客
09-18 260
hive select * from table where dt = ${hivevar:dt} #!/bin/bash yesterday=`date -d -1day +%Y%m%d` if [ ! -n "$1" ] then echo "没有传入参数" else yesterday="$1" echo "yesterday=$yesterday" fi set hive.exec.dynamic.partition=true; set hive.exec.dynamic.
DataX及使用
最新发布
weixin_44823875的博客
03-07 1079
DataX是阿里巴巴开源的一个异构数据源离线同步工具，用于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。任务提交命令：用户需要根据同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行命令提交数据同步任务即可。
doriswriter-datax
05-31
datax 含有doriswriter以及jobjson
common-datax:基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步
05-13
DEPRECATED!!!不在维护!!! 已优化重构并迁移至datax-admin common-datax 基于阿里DataX开发一个通用导数的微服务，可以开发前台页面，根据reader和writer自动进行数据同步 本项目只限于同步数据源量很少的时候使用，若是数据源很多的情况，请参考下面的设计思路 由于阿里DataX有一些缺点： 不够自动化 需要手写json 需要手动运行job 搬砖的时间很宝贵，所以： 提供通用数据抽取restful接口 HDFS自动创库创表创分区 利用freemarker模板自动创建json文件 自动python执行job 集成Azkaban进行调度管理 例如：mysql到hive 选择mysql需要同步的表、字段等信息，输入导入到hive的库表分区等信息，不需提前在hive进行创库创表创分区，自动根据要导的mysql表以及字段类型进行创建hive库表分区，然后利用
DataX入门使用
05-30
通过阿里开源的datax在多数据库中进行转移，有使用样例
数仓工具使用-Datax
t_813的博客
01-29 1727
DataX 是阿里推出的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。将DataX安装好之后, 仅需要配置Json的采集文件即可实现数据的同步DataX几个组成部分:Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer：Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
Python 命令行执行有空格的参数
Kp0fS的草稿纸
05-10 1966
坑
DataX教程（04）- 配置完整解读
阿甘兄
02-10 1万+
文章目录01 引言02 bin目录文件解析03 CoreConstant类 01 引言 通过前面的博文，我们知道了DataX的概念以及原理了： 《DataX入门》 《IDEA运行DataX完整流程（填完所有的坑）》 《DataX源码分析（超详细版）》 本文需要讲解的是DataX的配置，即编译打包后的bin目录配置文件： 以及conf目录的配置文件： 还有job目录的配置文件： 在阅读本文前，需要知道python的相关语法，之前写过相关的专栏，有兴趣的童鞋可以参阅下：《Python专栏》 02 bi
DataX介绍
m0_61607827的博客
03-12 7万+
DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX设计理念 DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和..
DataX
程序工厂
03-12 3598
DataX的环境搭建以及简单测试 什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(
winning-datax-20200215.zip
02-15
35M精简版，仅需依赖java8在windows下运行。内置reader、writer有sqlserver、textfile、ftp、stream。能够处理数据库、控制台、csv、ftp之间数据的传递。文档介绍如何订制自己的精简版，比如您只需要mysql的等等。
cloudin-datax是基于DataX开发的分布式数据同步工具，提供简单易用的操作界面，可视化定时任务配置监控和增量同步功能
06-03
cloudin-datax是基于DataX开发的分布式数据同步工具，提供简单易用的操作界面，可视化定时任务配置，监控和增量同步功能
DataX教程（01）- 入门
阿甘兄
01-12 6028
文章目录01 引言02 DataX引入03 DataX3.1 DataX概念3.2 DataX原理3.3 DataX架构3.3.1 Job作业3.3.2 Task子任务3.3.3 TaskGroup3.4 DataX代码执行流程 01 引言 因为最近使用到了DataX，所以接下来需要来个系统的学习，并以博客的形式记录。 DataX的源码地址：https://github.com/alibaba/DataX DataX官方介绍：https://github.com/alibaba/DataX/blob/ma
Datax学习及简单使用
weixin_41634597的博客
05-14 630
文章目录一、初识Datax1、Datax是什么？2、Datax支持哪些数据源？3、Datax与Sqoop的选择二、Datax架构1、Datax设计理念2、Datax框架设计3、Datax核心插件4、Datax核心架构 一、初识Datax 1、Datax是什么？ Datax是阿里巴巴开源的异构数据源离线同步工具，致力于实现关系型数据库，如Oracle、MySQL等，HDFS、Hive、HBASE、MongoDB、Es、FTP等各种异构数据源之间数据同步功能的稳定高效的实现。 2、Datax支持哪些数
DataX 自学使用
ZQHCSD的博客
07-29 926
DataX是阿里巴巴开源的一个异构数据源离线同步工具。ttps。
DataX使用指南
热门推荐
陪你听风的博客
05-08 10万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
星光不问赶路人，岁月不负有心人
06-29 1万+
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
一文带你看懂DataX离线同步工具(图文并茂，看完就懂)
丷江南南的博客
06-19 1万+
DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。阿里云DataX源码用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将 Reader 和 Writer 的信息配置在一个 json 文件。
----------- datax-web job execute timeout
10-17
好的，你的问题是关于 datax-web job 执行超时的。datax-web 是一个基于 Spring Boot 和 Vue.js 的数据同步工具，用于将数据从一个数据源同步到另一个数据源。当 datax-web 执行任务时，如果任务执行时间过长，就会...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值