DataX数据同步实战案例

最新推荐文章于 2024-05-10 18:39:19 发布
最新推荐文章于 2024-05-10 18:39:19 发布
阅读量1.3k 收藏 4
点赞数
分类专栏： DataX 文章标签： hive hbase 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chimchim66/article/details/126895332
版权

 

目录

一、背景

二、框架设计

三、核心架构

核心模块介绍：

DataX调度流程：

四、目前支持的数据源清单

五、案例

1.从mysql同步全量数据到hive无分区表的json文件配置

2.从mysql同步增量数据到hive无分区表的json文件配置

3.从mysql同步全量数据到hive分区表的json文件配置

4.从hive同步全量数据到mysql的json文件配置

5.从hive同步增量数据到mysql的json文件配置

6.从Postgre同步全量数据到hive分区表的json文件配置

7.从Postgre同步全量数据到hive分区表的json文件配置

8.从mysql同步数据到doris的json文件配置

六、执行

一、背景

DataX 是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

二、框架设计

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

  • Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
  • Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
  • Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

三、核心架构

 

 

核心模块介绍：

  1. DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。
  2. DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
  3. 切分多个Task之后，DataX Job会调用Scheduler模块，根据配置的并发数据量，将拆分成的Task重新组合，组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task，默认单个任务组的并发数量为5。
  4. 每一个Task都由TaskGroup负责启动，Task启动后，会固定启动Reader—>Channel—>Writer的线程来完成任务同步工作。
  5. DataX作业运行起来之后， Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出。否则，异常退出，进程退出值非0

 

DataX调度流程：

举例来说，用户提交了一个DataX作业，并且配置了20个并发，目的是将一个100张分表的mysql数据同步到odps里面。 DataX的调度决策思路是：

  1. DataXJob根据分库分表切分成了100个Task。
  2. 根据20个并发，DataX计算共需要分配4个TaskGroup。
  3. 4个TaskGroup平分切分好的100个Task，每一个TaskGroup负责以5个并发共计运行25个Task。

 

四、目前支持的数据源清单

类型数据源Reader(读)Writer(写)
RDBMS 关系型数据库MySQLMysqlReaderMysqlWriter
Oracle    OracleReaderOracleWriter
OceanBase  oceanbasev10readeroceanbasev10writer
SQLServerSqlServerReaderSqlServerWriter
PostgreSQLPostgresqlReaderPostgresqlWriter
DRDSDrdsReaderDRDSWriter
Kudukuduwriter
Clickhouseclickwriter
通用RDBMS(支持所有关系型数据库)RDBMSReaderRDBMSWriter
阿里云数仓数据存储ODPSODPSReaderODPSWriter
ADSADSWriter
OSSOSSReaderOSSWriter
OCSOCSWriter
NoSQL数据存储OTSOTSReader\otsstreamreaderOTSWriter
Hbase0.94Hbase094XReaderHbase094XWriter
Hbase1.1Hbase11XReaderHbase11XWriter
Phoenix4.xhbase11xsqlreaderHBase11xsqlwriter
Phoenix5.xhbase20xsqlreaderHBase20xsqlwriter
MongoDBMongoDBReaderMongoDBWriter
HiveHdfsReaderHdfsWriter
CassandraCassandraReaderCassandraWriter
无结构化数据存储TxtFileTxtFileReaderTxtFileWriter
FTPFtpReaderFtpWriter
HDFSHdfsReaderHdfsWriter
ElasticsearchElasticSearchWriter
时间序列数据库OpenTSDBOpenTSDBReader
TSDBTSDBReaderTSDBWriter
TDengineTDengineReaderTDengineWriter

 数据源参考指南：GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

五、案例

1.从mysql同步全量数据到hive无分区表的json文件配置

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://ip:port/db_name?useSSL=false"],
                                "querySql": ["select * from table_name"],
                            }
                        ],
                        "username": "username",
                        "password": "password"
                    }
                },
               "writer": {
                                "name": "hdfswriter",
                                "parameter": {
                                        "defaultFS": "hdfs://ip:port",
                                        "fileType": "text",
                                        "path": "/user/hive/warehouse/db_name.db/hive_table_name_da",
                                        "fileName": "hive_table_name",
                                         "column": [
                                                    {"name":"id","type":"int"},
                                                    {"name":"name","type":"string"}
                                                    ],
                                        "writeMode": "append",
                                        "fieldDelimiter": "\t",
                                        "encoding": "utf-8"
                                }
                        }
                }],
                "setting": {
                        "speed": {
                                "channel": "1"
                        },
                        "errorLimit": {
                                "record": 0,
                                "percentage": 0.02
                        }
                }
        }
}

2.从mysql同步增量数据到hive无分区表的json文件配置

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://ip:port/db_name?useSSL=false"],
                                "querySql": ["select * from mysql_table_name where date(date_created)='${date_create}'"],
                            }
                        ],
                        "username": "username",
                        "password": "password"
                    }
                },
               "writer": {
                                "name": "hdfswriter",
                                "parameter": {
                                        "defaultFS": "hdfs://ip:port",
                                        "fileType": "text",
                                        "path": "/user/hive/warehouse/db_name.db/hive_table_name_da",
                                        "fileName": "hive_table_name",
                                         "column": [
                                                    {"name":"id","type":"int"},
                                                    {"name":"name","type":"string"}
                                                    ],
                                        "writeMode": "append",
                                        "fieldDelimiter": "\t",
                                        "encoding": "utf-8"
                                }
                        }
                }],
                "setting": {
                        "speed": {
                                "channel": "1"
                        },
                        "errorLimit": {
                                "record": 0,
                                "percentage": 0.02
                        }
                }
        }
}

3.从mysql同步全量数据到hive分区表的json文件配置

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://ip:port/db_name?useSSL=false"],
                                "querySql": ["select * from mysql_table_name"],
                            }
                        ],
                        "username": "username",
                        "password": "password"
                    }
                },
               "writer": {
                                "name": "hdfswriter",
                                "parameter": {
                                        "defaultFS": "hdfs://ip:port",
                                        "fileType": "text",
                                        "path": "/user/hive/warehouse/db_name.db/hive_table_name_ds/ds=2022-09-16",
                                        "fileName": "hive_table_name",
                                         "column": [
                                                    {"name":"id","type":"int"},
                                                    {"name":"name","type":"string"}
                                                    ],
                                        "writeMode": "append",
                                        "fieldDelimiter": "\t",
                                        "encoding": "utf-8"
                                }
                        }
                }],
                "setting": {
                        "speed": {
                                "channel": "1"
                        },
                        "errorLimit": {
                                "record": 0,
                                "percentage": 0.02
                        }
                }
        }
}

4.从hive同步全量数据到mysql的json文件配置

{
"job": {
       "setting": {
               "speed": {
                          "channel": 1
               },
               "errorLimit": {
                          "record": 0,
                          "percentage": 0.02
               }
       },
       "content": [{
               "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path":"/user/hive/warehouse/db_name.db/hive_table_name",
                        "defaultFS": "hdfs://ip:port",
                        "column": [
                               {
                                "index": 0,
                                "type": "long"
                               },
                               {
                                "index": 1,
                                "type": "string"
                               },
                               {
                                "index": 3,
                                "type": "long"
                               }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t"
                    }
 
                },
               "writer": {
                       "name": "mysqlwriter",
                       "parameter": {
                       "writeMode": "insert",
                       "username": "username",
                       "password": "password",
                       "column": [
                                   "id",
                                   "name",
                                   "age"
                                 ],
                       "session": [
                                 "set session sql_mode='ANSI'"
                                 ],
                       "preSql": [
                                 "truncate table mysql_table_name"
                                 ],
                       "connection": [{
                                 "jdbcUrl": "jdbc:mysql://ip:port/db_name?useUnicode=true&characterEncoding=utf8",
                                 "table": [
                                     "mysql_table_name"
                                      ]
                                      }]
                        }
                       }
                 }]
     }
}

5.从hive同步增量数据到mysql的json文件配置

{
"job": {
       "setting": {
               "speed": {
                          "channel": 1
               },
               "errorLimit": {
                          "record": 0,
                          "percentage": 0.02
               }
       },
       "content": [{
               "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path":"/user/hive/warehouse/db_name.db/hive_table_name/ds=${ds}",
                        "defaultFS": "hdfs://ip:port",
                        "column": [
                               {
                                "index": 0,
                                "type": "long"
                               },
                               {
                                "index": 1,
                                "type": "string"
                               },
                               {
                                "index": 3,
                                "type": "long"
                               }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t"
                    }
 
                },
               "writer": {
                       "name": "mysqlwriter",
                       "parameter": {
                       "writeMode": "insert",
                       "username": "username",
                       "password": "password",
                       "column": [
                                   "id",
                                   "name",
                                   "age"
                                 ],
                       "session": [
                                 "set session sql_mode='ANSI'"
                                 ],
                       "preSql": [
                                 "truncate table mysql_table_name"
                                 ],
                       "connection": [{
                                 "jdbcUrl": "jdbc:mysql://ip:port/db_name?useUnicode=true&characterEncoding=utf8",
                                 "table": [
                                     "mysql_table_name"
                                      ]
                                      }]
                        }
                       }
                 }]
     }
}

6.从Postgre同步全量数据到hive分区表的json文件配置

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "postgresqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:postgresql://ip:port/pg_db_name"],
                                "querySql": ["select * from pg_table_name"],
                            }
                        ],
                        "username": "username",
                        "password": "password"
                    }
                },
               "writer": {
                                "name": "hdfswriter",
                                "parameter": {
                                        "defaultFS": "hdfs://ip:port",
                                        "fileType": "text",
                                        "path": "/user/hive/warehouse/hive_db_name.db/hive_table_name/ds=${ds}",
                                        "fileName": "hive_table_name",
                                         "column": [
                                                    {"name":"id","type":"bigint"},
                                                    {"name":"name","type":"string"},
                                                    {"name":"date_create","type":"string"}
                                                    ],
                                        "writeMode": "append",
                                        "fieldDelimiter": "\t",
                                        "encoding": "utf-8"
                                }
                        }
                }],
                "setting": {
                        "speed": {
                                "channel": "1"
                        }
                }
        }
}

7.从Postgre同步全量数据到hive分区表的json文件配置

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "postgresqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:postgresql://ip:[ort/pg_db_name"],
                                "querySql": ["select * from pg_table_name where date_create='${date_create}'"],
                            }
                        ],
                        "username": "username",
                        "password": "password"
                    }
                },
               "writer": {
                                "name": "hdfswriter",
                                "parameter": {
                                        "defaultFS": "hdfs://ip:port",
                                        "fileType": "text",
                                        "path": "/user/hive/warehouse/hive_db_name.db/hive_table_name/ds=${ds}",
                                        "fileName": "hive_table_name",
                                         "column": [
                                                    {"name":"id","type":"bigint"},
                                                    {"name":"name","type":"string"},
                                                    {"name":"date_create","type":"string"}
                                                    ],
                                        "writeMode": "append",
                                        "fieldDelimiter": "\t",
                                        "encoding": "utf-8"
                                }
                        }
                }],
                "setting": {
                        "speed": {
                                "channel": "1"
                        },
                        "errorLimit": {
                                "record": 0,
                                "percentage": 0.02
                        }
                }
        }
}

8.从mysql同步数据到doris的json文件配置

{
  "core":{
    "transport": {
      "channel": {
        "speed": {
          "byte": 104857600,
          "record": 200000
        }
      }
    }
  },
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "username",
                        "password": "password",
                        "connection": [
                            {
                            
                                "jdbcUrl": [
                                     "jdbc:mysql://ip:port/mysql_db_name"
                                ],
                                "querySql": [
                                    "select * from mysql_table_name;"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "doriswriter",
                    "parameter": {
                        "username": "username",
                        "password": "password",
                        "database": "db_name",
                        "table": "table_name",
                        "column": [ "column1","column2","column3"],
                        "preSql": [],
                        "postSql": [], 
                        "jdbcUrl": "jdbc:mysql://ip:port/",
                        "feLoadUrl": ["cdh3:port"],
                        "beLoadUrl": ["cdh1:port", "cdh2:port", "cdh3:port"],
                        "loadProps": {
                        },
                        "maxBatchRows" : 200000,
                        "maxBatchByteSize" : 104857600,
                        "lineDelimiter": "\n"
                    }
                }
            }
        ]
    }
}

六、执行

执行命令

$ python datax.py conf.json

chimchim66
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DataX-一款稳定高效的数据同步工具-从安装、启动、配置、使用总结，看这篇让你一步到位
weixin_43805705的博客
05-25 2663
DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具；致力于实现包括关系型数据库MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute、DRDS等各种异结构数据源之间稳定高效的数据同步功能。 Datax-web基于datax，增加了web界面，把Datax基于命令行任务通过java代码串联了起来，并提供了可视化的任务管理。
DataX数据同步工具使用
weixin_43114209的博客
04-27 3157
DataX 是阿里云 DataWorks 数据集成 的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。图片为了 解决异构数据源同步问题，DataX 将复杂的网状同步链路变成了星型数据链路 ，DataX 作为中间传输载体负责连接各种数据源；
DataX系列4-TxtFileWriter介绍
只是甲的博客
12-15 4168
文章目录一. 快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 path3.2.2 fileName3.2.3 writeMode3.2.4 fieldDelimiter3.2.5 compress3.2.6 encoding3.2.7 nullFormat3.2.8 dateFormat3.2.9 fileFormat3.2.10 header3.3 类型转换四. 测试案例4.1 数据准备4.2 json文件准备4.3 运行脚本参考: 一. 快速介绍   实际生产中，鉴于数
Java最全使用 DataX 实现数据同步（高效的数据同步工具），阿里java社招面试
2401_84584763的博客
05-10 1636
总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取后面在网上查看后，发现 DataX 这个工具用来同步不仅速度快，而且同步的数据量基本上也相差无几。一、DataX 简介DataX 是阿里云DataWorks 数据集成的开源版本，
DATAX数据同步工具
weixin_43930865的博客
05-30 2092
1、DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。2、DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
DataX案例实操
prefect_start的博客
02-04 1831
DataX案例实操，DataX案例实操，DataX案例实操
datax数据同步异常问题检测
09-02
解析datax同步日志，标记出异常的Job信息。
java使用datax增量同步代码
04-19
Java 使用 DataX 进行增量同步是大数据领域中常见的数据迁移任务，DataX 是阿里开源的一个强大、高效的数据同步工具，它可以实现不同数据存储之间的数据迁移。本篇将详细讲解如何在 Java 项目中利用 DataX 实现增量...
datax数据同步部署笔记
最新发布
06-28
datax用来做数据同步的部署笔记
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
Datax实现增量同步数据到Postgres
06-14
标题 "Datax实现增量同步数据到Postgres" 涉及到的是使用开源数据同步工具 Datax 进行数据迁移的场景，特别是针对从某个源数据库到PostgreSQL数据库的增量同步。Datax 是阿里巴巴开发的一款高效、稳定且强大的数据...
MongoDB/SQL Server增量同步方案
12-14
由于SQL Server的特殊性，目前市面上没有成熟开源的SQL Server/MongoDB同步软件，可行方案需要采用软件编写的方式才能实现该功能。通过调研，总结3种可行方法。依据采用的原理不同分为如下方法：依据时间戳更新数据、通过触发器更新数据以及SQL Server特有的CDC(change data capture)机制更新数据。本文针对公司的数据库同步需求，首先介绍3种方法的优缺点，然后提出其中可行的解决方案。 　　1、方法比较 　　· 时间戳 　　参考数据库表中的更新时间字段，依据此字段判断是否需要更新到MongoDB。优点是对原数据库改动较小。但缺点是原平台数据库大部分表没
批量数据之DataX数据同步
上善若泪
01-26 1291
DataX是阿里云DataWorks数据集成 的开源版本，主要就是用于实现数据间的离线同步。DataX致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。为了解决异构数据源同步问题，DataX将复杂的网状同步链路变成了星型数据链路 ，DataX作为中间传输载体负责连接各种数据源；当需要接入一个新的数据源时，只需要将此数据源对接到DataX，便能跟已有的数据源作为无缝数据同步。
datax 实时同步oracle,数据源管理 | 基于DataX组件，同步数据和源码分析
weixin_39564151的博客
04-03 1035
本文源码：[GitHub·点这里](https://github.com/cicadasmile/data-manage-parent) || [GitEE·点这里](https://gitee.com/cicadasmile/data-manage-parent)# 一、DataX工具简介## 1、设计理念DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Orac...
DataX开源数据同步工具的简介
biyn9的博客
06-14 887
DataX是一个开源的数据同步工具，用于实现不同数据源之间的数据同步和数据迁移。它由阿里巴巴集团开发和维护，是阿里云数加团队的核心项目之一。
使用datax实现增量同步mysql数据库数据（定时任务）
03-10 4774
1，执行读取和写入的mysqltomysql.json，（我这里文件名叫new.json）里面有数据源库表的信息，读取的字段等设置，并且接收外部传入的两个时间参数（格式化为时间戳），路径为/usr/local/datax/job下，修改注意格式为标准json,格式化无问题再使用。可以看到，数据已同步，具体还可以优化，请参考datax官方文档，搭建运行中间不要怕出问题，大胆尝试细心排错，有可能格式，执行权限，文件编码都会造成执行不成功，祝大家一次同步成功。可以看到，我们的定时任务已经写入。
Dolphinscheduler使用Datax同步mongodb到doris
Jmayday
03-23 1963
datax数据同步
总结：在Linux上通过datax同步Oracle数据到tidb上（包含Linux上部署oracle，tidb，mysql）
qq_44767605的博客
12-29 779
datax mysql oracle tidb
Data_web(九)mongodb增量同步到mongodb
jy8655790的博客
07-30 836
query筛选基本和mongodb的find方法类似
datax 数据同步如何设置默认值
05-11
在DataX的配置中，可以使用“value”字段来设置默认值。在读取源数据时，如果某个字段的值为空，则会使用该字段的默认值。下面是一个示例配置： ``` { "name": "mysqlreader", "parameter": { "column": [ { ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值