DataX 使用笔记

已于 2023-03-17 16:46:29 修改
阅读量756 收藏 2
点赞数
分类专栏： datax使用示例 文章标签： DataX
于 2019-12-24 10:32:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jerry_991/article/details/102780051
版权

写在前面

（mysql 5 和 mysql 8 驱动不同，DataX 读写 MySQL的时候需要考虑 mysql 版本驱动问题）

DataX 是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入。

设计理念

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

图1…：

框架设计

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为      Reader/Writer插件，纳入到整个同步框架中。

  1. Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
  2. Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
  3. Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

优点

1、可靠的数据质量监控（让数据可以完整无损的传输到目的端）
2、丰富的数据转换功能
3、精准的速度控制
4、新版本DataX3.0提供了包括通道(并发)、记录流、字节流三种流控模式，可以随意控制你的作业速度，让你的作业在库可以承受的范围内达到最佳的同步速度。
5、强劲的同步性能
每一种读插件都有一种或多种切分策略，都能将作业合理切分成多个Task并行执行，单机多线程执行模型可以让DataX速度随并发成线性增长。
6、健壮的容错机制（多层次局部/全局的重试）
7、极简的使用体验
    下载即可用、详细的日志信息。

官网 json 文档

json(mysql  ==> mysql)：

{ 
    "job": { 
        "content": [ 
            { 
                "reader": { 
                    "name": "mysqlreader",
                    "parameter": { 
                        "username": "root", 
                        "password": "123456",  
                        "column": ["name","age"], 
                        "where": "age<100", 
                        "connection": [ 
                            { 
                                "table": [ 
                                    "person" 
                                ], 
                                "jdbcUrl": [ 
                                    "jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf8"
                                ] 
                            } 
                        ] 
                    } 
                }, 
                "writer": { 
                    "name": "mysqlwriter",
                    "parameter": { 
                        "username": "root", 
                        "password": "123456", 
                        "column": ["name","age_true"],
                        "connection": [ 
                            { 
                                "table": [ 
                                    "person" 
                                ], 
                                "jdbcUrl":"jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf8"                              
                            } 
                        ]   
                    } 
                } 
            } 
        ], 
        "setting": {
                 "speed": {
                         "channel": 1,
                         "byte": 104857600
                 },
                 "errorLimit": {
                         "record": 10,
                         "percentage": 0.05
      }
    } 
}

组成部分：

它由三部分组成，分别是读，写和通用配置。

Reader部分

Writer部分

setting部分

job.setting.speed(流量控制)

Job支持用户对速度的自定义控制，channel的值可以控制同步时的并发数，byte的值可以控制同步时的速度

job.setting.errorLimit(脏数据控制)

Job支持用户对于脏数据的自定义监控和告警，包括对脏数据最大记录数阈值（record值）或者脏数据占比阈值（percentage值），当Job传输过程出现的脏数据大于用户指定的数量/百分比，DataX Job报错退出。

json(mysql  ==>  hdfs):

{
    "job": {
        "setting": {
            "speed": {
                "channel": 10,
                "byte": 1000000,
                "record": 100000
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
						"username": "root",
                        "password": "root",
						"connection": [
                            {
                                "querySql": [
                                    "select db_id,on_line_flag from xxxx where db_id < 10;"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://127.0.0.1:3306/database"
                                ]
                            }
                        ],
                        "table": "xxxx"
                    }
                },
				"writer": {
					"name": "hdfswriter",
					"parameter": {
						"defaultFS": "hdfs://shdc/",
						"fileType": "text",
						"path": "/user/hive/warehouse/ods_db.db/ods_zbt_ots_coin_account_record/dt=20191126/",
						"fileName": "ods_zbt_ots_coin_account_record",
						"column": [
                                                {
                                                        "name": "id",
                                                        "type": "bigint"
                                                },
                                                {
                                                        "name": "userId",
                                                        "type": "bigint"
                                                },
                                                {
                                                        "name": "createTime",
                                                        "type": "bigint"
                                                },
                                                {
                                                        "name": "channel",
                                                        "type": "STRING"
                                                },
                                                {
                                                        "name": "coinType",
                                                        "type": "bigint"
                                                },
                                                {
                                                        "name": "uuid",
                                                        "type": "STRING"
                                                },
                                                {
                                                        "name": "bizCode",
                                                        "type": "string"
                                                },
                                                {
                                                        "name": "coinChangeNum",
                                                        "type": "bigint"
                                                },
                                                {
                                                        "name": "source",
                                                        "type": "STRING"
                                                },
												{
                                                        "name": "coinLeftNum",
                                                        "type": "bigint"
                                                },
                                                {
                                                        "name": "ext",
                                                        "type": "STRING"
                                                },
												{
                                                        "name": "updateTime",
                                                        "type": "bigint"
                                                }
						],
						"writeMode": "append",
						"fieldDelimiter": "\t",
						"hadoopConfig": {
							"dfs.nameservices": "shdc",
							"dfs.ha.namenodes.shdc": "nn1,nn2",
							"dfs.namenode.rpc-address.shdc.nn1": "dc-nn-01:8020",
							"dfs.namenode.rpc-address.shdc.nn2": "dc-nn-02:8020",
							"dfs.client.failover.proxy.provider.shdc": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
						}
					}
				}
		}]
    }
}

json(hdfs  ==>  mysql):

{
        "job": {
                "setting": {
                        "speed": {
                                "channel": 3
                        }
                },
                "content": [{
                        "reader": {
                                "name": "hdfsreader",
                                "parameter": {
                                        "path": "/user/hive/warehouse/ods_db.db/rpt_zbt_act_coins/dt=${vardate}/*",
                                        "defaultFS": "hdfs://xxxx/",
                                        "column": ["*"],
                                        "fileType": "text",
                                        "encoding": "UTF-8",
                                        "fieldDelimiter": "\t",
                                        "nullFormat": "\\N",
                                        "hadoopConfig": {
                                                "dfs.nameservices": "xxxx",
                                                "dfs.ha.namenodes.xxxx": "nn1,nn2",
                                                "dfs.namenode.rpc-address.xxxx.nn1": "dc-nn-01:8020",
                                                "dfs.namenode.rpc-address.xxxx.nn2": "dc-nn-02:8020",
                                                "dfs.client.failover.proxy.provider.xxxx": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
                                        },
                                }
                        },
                        "writer": {
                                "name": "mysqlwriter",
                                "parameter": {
                                        "writeMode": "insert",
                                        "username": "name",
                                        "password": "password",
                                        "batchSize":"1024",
                                        "column": ["logdt","act_code","act_name","coins","uv"],
                                        "session": [],
                                        "connection": [{
                                                "table": ["xxxx"],
                                                "jdbcUrl": "jdbc:mysql://xxx.xxx.xxx.xxx:3306/xx"
                                        }]
                                }
                        }
                }]
        }
}

json (hive => hbase):

{
  "job": {
    "setting": {
      "speed": {
        "channel": 5
      }
    },
    "content": [
      {
		"reader": {
            "name": "hdfsreader",
            "parameter": {
                "path": "/user/hive/warehouse/tmp.db/zbt_open/*",
                "defaultFS": "hdfs://shdct",
                "column": [
							{
								"index": 0,
								"type": "String"
							},
							{
								"index": 1,
								"type": "String"
							},
							{
								"index": 2,
								"type": "String"
							}
				],
                "fileType": "text",
                "encoding": "UTF-8",
                "fieldDelimiter": "\t",
                "nullFormat": "\\N",
                "hadoopConfig": {
                    "dfs.nameservices": "shdct",
                    "dfs.ha.namenodes.shdct": "nn1,nn2",
                    "dfs.namenode.rpc-address.shdct.nn1": "test-dc-nn-01:8020",
                    "dfs.namenode.rpc-address.shdct.nn2": "test-dc-nn-02:8020",
                    "dfs.client.failover.proxy.provider.shdct": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
                },
            }
        },
        "writer": {
          "name": "hbase11xwriter",
          "parameter": {
            "hbaseConfig": {
              "hbase.rootdir": "hdfs://shdct/hbase",
              "hbase.cluster.distributed": "true",
              "hbase.zookeeper.quorum": "test-dc-dn-01:2181,test-dc-dn-02:2181,test-dc-dn-03:2181"
            },
            "table": "zbt_open",
            "mode": "normal",
            "rowkeyColumn": [
                {
                  "index":1,
                  "type":"string"
                }
            ],
            "column": [
				{
				  "index":0,
				  "name": "data:uid",
				  "type": "string"
				},
				{
				  "index":1,
                  "name": "data:device",
                  "type": "string"
				},
				{
				  "index":2,
                  "name": "data:qid",
                  "type": "string"
			    }
            ],
            "encoding": "utf-8"
          }
        }
      }
    ]
  }
}

（注：hive:3.1.2、hbase:2.1.7、hadoop:3.1.2、DataX）

启动：

实例：

python /home/hadoop/datax/bin/datax.py /home/hadoop/Jerry/job.json/test.json 

夜古诚
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
1.2 DataX 数据同步工具详细教程
在路上的专栏
06-22 1354
DataX 是由阿里巴巴开源的一款异构数据源离线同步工具。DataX 旨在实现包括关系型数据库（如 MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间的稳定高效的数据同步功能。它通过简化数据同步流程，将复杂的网状同步链路转变为星型数据链路，DataX 作为中间传输载体负责连接各种数据源。
Centos7.9下安装datax-web-2.1.2_以及datax-web登录时提示账号或密码错误解决---大数据之DataX工作笔记002
添柴程序猿的专栏
06-29 869
这样安装的时候注意,交互模式安装,需要自己输入Y,有提示,如果你没有提前把数据库建立好,把sql文件导入进入,这里的mysql就不用说了,然后jdk安装也不用说,然后maven,安装说一下,datax参考上面的博文安装,python2.x这个我应该是以前装其他东西,自动给装上的,这里也不安装了,很简单,网上文章很多.去这里配置一下,数据库的用户名密码之类的,我们光创建数据库了,还没有配置。他在交互模式下,会提示你输入,数据库IP,端口,用户名,密码这些。
datax(13)：源码解读Column-datax中的数据类型，如何写出高效率的SQL
m0_69377236的博客
04-12 659
前言 Spring 也算有多年的历史了，已成为Java应用程序开发框架的事实标准。在如此悠久的历史背景下，有人可能会认为Spring放慢了脚步，躺在了自己的荣誉簿上，再也做不出什么新鲜的东西，或者是让人激动的东西。甚至有人说，Spring是遗留项目，是时候去看看其他创新的东西了。 这些人说得不对。 Spring的生态圈里正在出现很多让人激动的新鲜事物，涉及的领域涵盖云计算、大数据、无模式的数据持久化、响应式编程以及客户端应用程序开发。 而大厂面试更是年年不会落下问SpringBoot，你还在怕搞不懂Spri
Datax的学习笔记
weixin_45866849的博客
07-21 652
Datax是阿里巴巴集团内被广泛使用的异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、MaxCompute（原ODPS）、HBase、FTP等各种异构数据源（即不同的数据库）之间稳定高效的数据同步功能。...
DataX 学习笔记
十二的博客
12-13 3532
一. DataX简介 1.1 DataX概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 官网地址：https://github.com/alibaba/DataX 1.2 DataX支持的数据源 DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图。 类型 数据源 R
datax使用笔记
enthan809882的博客
08-13 364
datax是一款python实现的数据库迁移工具。 基本原理： 通过datax.py读取json配置文件，按照配置执行迁移任务。 步骤为： 1、下载并解压datax。 2、编写迁移配置文件(如：t_user.json)。 3、执行命令。 /data/datax/bin/datax.py /data/datax/job/crm/t_user.json t_user.json 示例json如下： { "job": { "setting": { "speed": {
【大数据进阶第三阶段之Datax学习笔记】阿里云开源离线同步工具Datax概述
一个老码农
01-07 1418
DataX 是阿里云的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
datax数据同步部署笔记
最新发布
06-28
- **解压命令**：通过`tar -zxvf datax.tar.gz`命令解压压缩包，如果需要指定解压路径，可以使用`tar -zxvf datax.tar.gz -C /path/to/directory`。 - **建议操作**：推荐直接解压到目标目录，避免后续的移动操作...
datax 模板_Datax官方笔记总结
weixin_39604598的博客
12-21 298
#DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理...
linux之datax部分笔记
weixin_51591544的博客
12-07 760
1) 2)自动创建hive表 3） 4）运行 python /root/datax/bin/datax.py /root/datax/job/log.json 自动化数据采集 1）先准备mysql数据 直接导入即可 2）创建hive表，格式匹配上，表名也需要匹配上 3）修改datax的配置文件 a）先配置成功json文件，测试能够将20200901的数据导入hive表 b）开始写脚本，实现执行这个脚本，执行一次会自动导入0902的数据，再执行一次会自动导入0903的数据 测试： 现状
DataX学习笔记篇一
zheng2780071070的博客
07-30 1706
1.dataX是什么 (1) 定义：DataX是阿里巴巴内被广泛使用的异构数据源离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 (2) 技术支持： (3) 设计理念：为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要...
datax(13)：源码解读Column-datax中的数据类型
热门推荐
water Wang
01-22 9万+
一、基类Column概述 Column是datax中所有数据类型的基类，里面有3个属性，以及一个构造方法，外加一个枚举类； public abstract class Column { private Type type; private Object rawData; private int byteSize; public Column(final Object object, final Type type, int byteSize) { this.rawData = objec
java项目源码免费下载，HR的话扎心了
m0_56255097的博客
06-29 570
Redis简介 Redis与Memcached区别 Redis优点 Redis缺点 Redis数据类型 String Hash List Set Sorted set Redis事务 MULTI&EXEC（原子执行，并非互斥） WATCH&UNWATCH（原子执行+乐观锁） Redis分布式锁 排他锁 SETNX 带有超时特性的锁 Redis持久化机制 RDB（Redis Database，全量模式） AOF（Append Only File，增量模式） 触发方式
datax操作
11-13 193
​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。二、datax框架设计。
【大数据开发】Datax——Datax学习笔记
白色风车
11-14 994
1.speed是控制并发的参数，一般使用channel和byte 2.content里面包含有一个reader和writter， 无论是reader还是writter都有一个name，这里开源文件里定义好的 datax会把writer中column的value读到流中，然后由writer写出流 3.查看官方关于stream的json配置模板命令 [root@node1 datax]# python bin/datax.py -r streamreader -w streamwriter { "jo
学习笔记：关于datax的hdfswriter的column无法一次性写入问
cxd_1010的博客
08-05 322
关于datax的hdfswriter的column无法一次性写入问
详解DataX及使用
wenqi
04-26 2万+
DataX概述 简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 支持数据源 DataX架构原理 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 框架设
使用 DataX 实现 MySQL 数据的高效同步
程序猿DD
07-14 2941
本周赠书《性能之巅》第2版我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储...
dataX使用指南
一个不靠谱的程序员
01-14 4787
DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataXgit地址 安装 直接下载DataX工具包：DataX下载地址 下载后解压至本地某个...
尚硅谷datax笔记
08-09
- *1* *3* [尚硅谷大数据技术NiFi教程-笔记02【NiFi（使用案例，同步文件、离线同步mysql数据到hdfs、实时监控kafka...](https://blog.csdn.net/weixin_44949135/article/details/130535550)[target="_blank" data-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值