DataX的简单应用

最新推荐文章于 2024-09-07 21:15:55 发布
最新推荐文章于 2024-09-07 21:15:55 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： # DataX 文章标签： hdfs mysql hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36593748/article/details/122441431
版权

文章目录

1、DataX模板

方式一：DataX配置文件模板

python bin/datax.py -r mysqlreader -w hdfswriter

在这里插入图片描述

方式二：官方文档https://github.com/alibaba/DataX/blob/master/README.md

2、同步Mysql数据到HDFS案例

2.1 MySQLReader之TableMode

使用table，column，where等属性声明需要同步的数据

mysql_to_hdfs_T.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "where": "id>=3",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "table": [
                                    "base_province"
                                ]
                            }
                        ],
                        "password": "123456",
                        "splitPk": "",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

MysqlReader–TableMode格式：

在这里插入图片描述

HDFSWriter格式：

在这里插入图片描述

HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（’’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。

解决方案

  • 修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑https://blog.csdn.net/u010834071/article/details/105506580

  • 在Hive中建表时指定null值存储格式为空字符串（’’）

    DROP TABLE IF EXISTS base_province;
CREATE EXTERNAL TABLE base_province
(
    `id`         STRING COMMENT '编号',
    `name`       STRING COMMENT '省份名称',
    `region_id`  STRING COMMENT '地区ID',
    `area_code`  STRING COMMENT '地区编码',
    `iso_code`   STRING COMMENT '旧版ISO-3166-2编码，供可视化使用',
    `iso_3166_2` STRING COMMENT '新版IOS-3166-2编码，供可视化使用'
) COMMENT '省份表'
    ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
    NULL DEFINED AS ''
    LOCATION '/base_province/';

Setting参数说明:

在这里插入图片描述

容错比例配置均设为0

提交任务测试

  • 需要先在hdfs上创建好指定目录

    hadoop fs -mkdir /base_province

    可通过修改DataX源码进行创建目录

  • 执行命令将mysql中的数据导入hdfs

    python bin/datax.py job/mysql_to_hdfs_T.json

  • 查看hdfs

    hadoop fs -cat /base_province/* | zcat

2.2 MySQLReader之QuerySQLMode

通过使用一条SQL查询语句声明需要同步的数据。

mysql_to_hdfs_sql.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "123456",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

MysqlReader–QuerySQLMode格式:

在这里插入图片描述

提交任务测试

  • 删除/base_province/下的所有文件

    hadoop fs -rm -r -f /base_province/*

  • 执行命令

    python bin/datax.py job/mysql_to_hdfs_sql.json

  • 查看HDFS文件

    hadoop fs -cat /base_province/* | zcat

3、同步HDFS数据到Mysql案例

hdfs_to_mysql.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "defaultFS": "hdfs://hadoop102:8020",
                        "path": "/base_province",
                        "column": [
                            "*"
                        ],
                        "fileType": "text",
                        "compress": "gzip",
                        "encoding": "UTF-8",
                        "nullFormat": "\\N",
                        "fieldDelimiter": "\t",
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "connection": [
                            {
                                "table": [
                                    "test_province"
                                ],
                                "jdbcUrl": "jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&characterEncoding=utf-8"
                            }
                        ],
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "writeMode": "replace"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

HDFSReader：

在这里插入图片描述

MySQLWriter：

在这里插入图片描述

提交任务测试

  • 在Mysql中创建test_province表

    DROP TABLE IF EXISTS `test_province`;
CREATE TABLE `test_province`  (
  `id` bigint(20) NOT NULL,
  `name` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `region_id` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `area_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_code` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `iso_3166_2` varchar(20) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

    可通过Navicate工具创建表

  • 执行命令

    python bin/datax.py job/test_province.json

  • 刷新查看mysql数据

4、DataX传参案例

​ 离线数据同步任务需要每日定时重复执行，故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。

用法：

​ 在JSON配置文件中使用${param}引用参数，在提交任务时使用-p"-Dparam=value"传入参数值。

test_parameter.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "123456",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province/${dt}",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

提交任务测试

  • 在hdfs上创建路径

    hadoop fs -mkdir /base_province/2022-01-11

  • 执行命令

    python bin/datax.py job/test_parameter.json -p"-Ddt=2020-06-14"

  • 在hdfs上查看

MelodyYN
关注
专栏目录
使用Datax自定义采集组件Reader/Writer实现国产数据库支持以及_Datax数据清洗/过滤规则功能自定义---大数据之DataX工作笔记007
添柴程序猿的专栏
04-08 589
我们基于datax来做的自己的数据采集系统,现在基本的数据采集已经实现了,也就是调用datax的数据采集能力,实现在已支持的数据库之间同步数据.我们是基于datax-web实现的,里面都有开源的代码了,可以分析以后拿过来用,这个过程并不复杂,而且,结合xxljob的web那个开源项目,也可以让datax和定时任务结合起来,思路是这样的,而且实现也不复杂,小同事去做的就搞定了.然后再去使用的时候,记得,在之前的datax脚本中,添加上,上面的脚本就可以了。在这个文件中,可以看到这里进行了初始化的操作,
datax自定义reader-＞kuduReader
cclovezbf的博客
05-26 1275
kudureader
怎么给DataX的Json配置文件传参
最新发布
别人笑我太疯癫，我笑他人看不穿。
09-07 264
DataX使用的是Python的运行方式，加载了一个Json格式的作用配置，但是有的小伙伴就很迷茫，如果用它跑例行任务，怎么处理出想要的Json文件，其实你可以在运行DataX之前，跑一个Linux脚本，如下。用这个脚本生成一个Json文件就可以啦。
Datax的txtfilereader插件实践
weixin_30391339的博客
12-17 1672
一、介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。 二、配置模版 { "setting": {}, "job": { "setting": { "speed": { ...
DataX源码分析 reader
老码农的博客
02-11 2272
DataX的Reader组件负责从数据源中读取数据，并将这些数据转换成DataX框架可以处理的数据格式。DataX的Reader组件采用了插件化的设计，使得添加新的数据源类型变得相对容易。只需要实现相应的Reader接口或抽象类，并提供必要的配置参数，就可以将新的数据源集成到DataX框架中。这种可扩展性使得DataX能够适应不断变化的数据环境。Reader通常与特定的数据源绑定，每种数据源类型可能都需要一个独立的Reader实现。
datax之txtfilereader
qq_36297093的博客
07-13 2239
声明：本文来源于datax源码包 # DataX TxtFileReader 说明 ------------ ## 1 快速介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。 **本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。** ## 2 功能与限制 TxtFileReader实现了从本地文件读取数据并转为DataX协议的功能，本地文件本身
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
07-03
DataX是阿里巴巴开源的一款强大的数据同步...同时，实践操作和调试JSON配置也是学习过程的重要部分，这能帮助你更好地理解和应用这些知识。在实际工作中，根据业务需求灵活调整配置，以达到高效、安全的数据同步目标。
java集成datax所需pom依赖包
04-09
Java集成DataX涉及到的是数据同步工具的使用，DataX是阿里巴巴开源的一款用于大数据搬移的工具，它能够高效地支持大量数据在不同数据存储之间...在实际开发中，建议参考DataX的官方文档和示例，以便更好地理解和应用。
cloudin-datax是基于DataX开发的分布式数据同步工具，提供简单易用的操作界面，可视化定时任务配置监控和增量同步功能
06-03
应用场景** Cloudin-DataX适用于各种数据集成需求，如： - 数据仓库建设：将分散在不同系统的数据整合到统一的数据仓库中。 - 数据分析：实时或定时将业务数据同步至分析平台，支持实时业务决策。 - 数据迁移：在...
datax数据迁移插件-db2reader
01-16
DataX作为阿里巴巴开源的一款强大、通用的数据同步工具，广泛应用于各种数据库之间的数据迁移。其中，DB2Reader是DataX专门为从DB2数据库进行数据迁移而设计的读取插件。本文将深入探讨DB2Reader的工作原理、配置...
datax之hivereader
11-04
datax之hivereader，下载完成后直接解压到plugin下的reader。解压完后记得把zip包删掉，不然报错哟
DataX入门使用
05-30
通过阿里开源的datax在多数据库中进行转移，有使用样例
datax_mongodbreader插件
10-19
解决mongodbreader中空值处理的异常。com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-00], Description:[您的配置错误.]. - 列配置信息有错误. 因为您配置的任务中，源头读取字段数:6 与 目的表要写入的字段数:7 不相等. 请检查您的配置并作出修改.
DataX系列3-TxtFileReader介绍
只是甲的博客
12-15 2204
文章目录一.快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 path3.2.2 column3.2.3 fieldDelimiter3.2.4 compress3.2.5 encoding3.2.6 skipHeader3.2.7 nullFormat3.2.8 csvReaderConfig3.3 类型转换参考: 一.快速介绍   实际生产中，鉴于数据安全、不同够公司数据交互等原因，很多时候会使用txt、csv等文件格式来交互数据。   TxtFileReader提供了
datax值txtreader，writerjob
viviliving的专栏
01-07 528
{ "setting": {}, "job": { "setting": { "speed": { "channel": 2 } }, "content": [ { "reader": { "name": "txtfilereader", .
DataX安装部署-Reader插件二次开发
sinat_32651363的博客
11-14 7000
  DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 DataX详细介绍 请参考：DataX-Introduction DataX是什...
DataX学习笔记-Reader插件开发
热门推荐
PURSUE ONE PIECE
06-24 1万+
DataX开发基于读取ElasticSearch数据的Reader插件 1、检出DataX源码（git clonehttps://github.com/alibaba/DataX.gitDataX），导入项目，新建一个esreader的maven项目进行插件开发。 2、在DataX安装目录的plugins/reader目录下新建esreader目录，目录下包含plugin_job_temp...
datax（六）源码阅读之外部插件加载机制(reader、writer)
qq_31957747的博客
01-02 2120
目录 一、插件使用方法 二、插件机制原理 三、源码走读 四、QA 一、插件使用方法 众所周知，datax通过插件机制，动态的在运行时载入reader和writer进行数据同步的执行。 站在用户侧，用户只需要做下列步骤就可以实现插件执行 1、按datax的约定实现自己的插件，并放在${DATAX_HOME}/plugin/reader/或者${DATAX_HOME}/plugin/writer/目录下，以mysqlreader为例 jar包就是用户实现的mysqlreader插件，lib
DataX部署详解与常见问题及源码修改指南
本文档主要介绍了如何部署阿里巴巴开源的数据集成工具...总结来说，本文档为DataX的部署提供了实用指南，无论是简单地使用预打包工具还是深入理解其内部工作原理，都能帮助读者顺利地在实际项目中应用和管理数据集成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MelodyYN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值