DataX的简单使用

最新推荐文章于 2024-09-21 07:30:00 发布
最新推荐文章于 2024-09-21 07:30:00 发布
阅读量1.8k 收藏 2
点赞数 2
分类专栏： 数据集成工具专栏。 大数据专栏。 文章标签： 数据集成 DataX
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l_dsj/article/details/120892540
版权
DataX是阿里开源的离线数据同步工具，支持多种数据源间的数据迁移。本文通过实例演示了如何使用DataX将MySQL数据同步到MySQL另一表、HDFS以及HBase，包括json配置文件的编写和执行命令，展示了数据同步的完整流程。
摘要由CSDN通过智能技术生成

目录

DataX简介

DataX是什么

DataX是阿里开发的一款离线的数据同步平台，实现异构数据源之间高效的数据同步功能，单台机器就可以操作，底层是JVM，高并发

在不使用这个工具之前，我们做数据之间的同步需要使用sqoop或者写到本地，或者写Java代码完成，做的事情是一个框架到一个框架，大概是这样的样式，其中的读取、转化、传输都需要Java代码完成
在这里插入图片描述
在集成了DataX之后，其中的转化由DataX自己完成，大概是这样的样式
在这里插入图片描述

DataX可以支持哪些数据源之间的同步

可以进入github中直接搜索datax

在这里插入图片描述
点进去我们可以看到datax的源码，以及支持哪些数据源
在这里插入图片描述

DataX如何使用

需要从什么地方取数据，就点进“读”，看需要什么样的json格式
需要从什么地方写数据，就点金“写”，看需要什么样的json格式

假设我们“读”MySQL的数据源，点进MySQL的“读”
可以看到这里给我们写了一些范例，对着修改即可，
需要“读”操作，就修改“reader”里面的内容
需要“写”操作，就修改“writer”里面的内容
在这里插入图片描述

举例mysqlTomysql

这里是将student库中的student表，导入一份到student库中的student2表
student表的样式：
在这里插入图片描述
创建一个json格式的文件

对照着github，我们可以看出我们所需要配置的json格式大致需要配置这些内容，其中"content"是一个数组，但我们一般都只填入一份即可，其中的reader是从哪里读取的数据源，writer是写入哪里的数据源
在这里插入图片描述
具体
json格式如下
（要事先在MySQL中创建好要传入的另一张表）

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz",
                            "last_mod"
                        ],
                        "splitPk": "age",
                        "connection": [
                            {
                                "table": [
                                    "student"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/student"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz",
                            "last_mod"
                        ],
                        "preSql": [
                            "truncate student2"
                        ],                        
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/student?useUnicode=true&characterEncoding=utf8",
                                "table": [
                                    "student2"
                                ]
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 6
            }
        }
    }
}

在DataX的bin目录下执行该命令
在这里插入图片描述
可以看到数据导入到student2成功
在这里插入图片描述

举例mysqlTohdfs

大致过程与上面一样，需要读的是MySQL的数据源，就在“reader”中写入需要读取的MySQL数据源的样式，需要写到hdfs，就在“writer”中写入hdfs数据源的样式
（要事先在hive中创建好对应的数据库和对应的表）
具体json格式如下

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz",
                            "last_mod"
                        ],
                        "splitPk": "age",
                        "connection": [
                            {
                                "table": [
                                    "student"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/student"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://master:9000",
                        "fileType": "text",
                        "path": "/user/hive/warehouse/datax.db/students",
                        "fileName": "student",
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "age",
                                "type": "INT"
                            },
                            {
                                "name": "gender",
                                "type": "string"
                            },
                            {
                                "name": "clazz",
                                "type": "string"
                            },
                            {
                                "name": "last_mod",
                                "type": "string"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": ","
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 6
            }
        }
    }
}

数据传输成功
在这里插入图片描述

合并hdfs不同分区数据的一种方式

我们可以看到虽然上面的数据已经从MySQL导入到hdfs成功，但是会出现很多分区，我们试着将这些分区合并成一个
创建一个和上面表结构一样的表
在这里插入图片描述
将表中的数据直接导入即可，最后出现的分区就会从许多个变成一个
在这里插入图片描述

举例mysqlTohbase

具体的json格式如下

{
  "job": {
    "setting": {
      "speed": {
        "channel": 5
      }
    },
    "content": [
      {
        "reader": {
            "name": "mysqlreader",
            "parameter": {
                "username": "root",
                "password": "123456",
                "column": [
                    "id",
                    "name",
                    "age",
                    "gender",
                    "clazz",
                    "last_mod"
                ],
                "splitPk": "age",
                "connection": [
                    {
                        "table": [
                            "student"
                        ],
                        "jdbcUrl": [
                            "jdbc:mysql://master:3306/student"
                        ]
                    }
                ]
            }
        },
        "writer": {
          "name": "hbase11xwriter",
          "parameter": {
            "hbaseConfig": {
              "hbase.zookeeper.quorum": "master,node1,node2",
              "hbase.zookeeper.property.clientPort": "2181",
              "hbase.rootdir": "hdfs://master:9000/hbase",
              "hbase.cluster.distributed": "true",
              "zookeeper.znode.parent": "/hbase"
            },
            "table": "student",
            "mode": "normal",
            "rowkeyColumn": [
                {
                  "index":0,
                  "type":"string"
                }
            ],
            "column": [
              {
                "index":1,
                "name": "info:id",
                "type": "int"
              },
              {
                "index":2,
                "name": "info:name",
                "type": "string"
              },
              {
                "index":3,
                "name": "info:age",
                "type": "int"
              },
              {
                "index":4,
                "name": "info:gender",
                "type": "string"
              },
              {
                "index":5,
                "name": "info:clazz",
                "type": "string"
              },
              {
                "index":6,
                "name": "info:last_mod",
                "type": "string"
              }
            ],
            "encoding": "utf-8"
          }
        }
      }
    ]
  }
}

hbase中创建相应的表和格式
在这里插入图片描述

导入成功
在这里插入图片描述
再次使用phoenix创建hbase相应的视图进行查看
在这里插入图片描述
数据导入成功
在这里插入图片描述

感谢阅读，我是啊帅和和，一位大数据专业大四学生，祝你快乐。

啊帅和和。
关注
专栏目录
DataX简介
IT深耕十余载，大道之简
05-17 163
DataX的设计理念是将复杂的网状的同步链路变成星型数据链路，它作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源时，只需要将此数据源对接到DataX，就能与已有的数据源实现无缝数据同步。需要注意的是，虽然DataX在离线数据同步方面表现优异，但它不支持增量同步，这在某些场景下可能会受到限制。目前，DataX每天完成同步的作业数量庞大，每日传输的数据量也非常可观。DataX是阿里巴巴开源的一个异构数据源离线同步工具，主要用于实现各种异构数据源之间稳定高效的数据同步功能。
datax使用
weixin_43419880的博客
07-02 441
datax的使用流程和本人踩的坑革命尚未成功 派派仍需努力。
DataX--Web：图形化界面简化大数据任务管理
最新发布
天冬忘忧的博客
09-21 1270
DataX Web作为一个图形化工具，极大地简化了DataX数据同步任务的管理。它通过提供一个用户友好的界面，使得即使是非技术用户也能够轻松地配置和管理复杂的数据同步任务。随着大数据技术的不断发展，DataX Web有望成为大数据任务管理的重要工具。
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改
【转】dataX简介
hero_xsx的博客
10-29 754
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
datax
eric_lee的专栏
01-24 1157
python bin/datax.py -p "-Dstarttime='2018-01-15 00:00:00' -Dendtime='2018-01-15 23:59:59' -Ddays='2018-01-15' " ../job/writemysql1.json {     "job": {         "setting": {        
DataX
GZHarryAnonymous的博客
08-23 562
目录DataX是什么？DataX使用DataX执行流程DataX架构设计DataX源码解析 DataX是什么？ DataX是离线数据同步工具（平台） github开源地址：https://github.com/alibaba/DataX DataX使用 https://yq.aliyun.com/articles/696839 DataX执行流程 https://www.jianshu....
Datax简单使用
weixin_42003068的博客
05-07 473
阿里开源ETL工具——dataX简单上手 一、概述 1.是什么？ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 开源地址 二、简介 　　1.设计架构 ...
datax 导入数据中文乱码_DataX简单使用
weixin_39880615的博客
02-06 943
背景最近在重构权限管理系统(PMS)，因此在验证新开发功能的行为是否和旧功能相同时，采用了一种思路，控制相同的输入，比对输出是否尽可能一致。因为重构选用了微服务的架构，对于数据库这边拆分成了多个库。因此开发时需要将原先的PMS库的数据迁移到异构的多个数据库中。迁移方案迁移的基本思路是写转换sql语句，查出数据并导入目标库的目标表思路1查出的数据导出到Excel，然后通过Excel导入到目的库。这种...
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 ...DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris，适配doriswriter 插件。
数据同步工具—DataX部署使用
热门推荐
10-02 4万+
这一节我们主要介绍了DataX 的使用，使用的时候我们主要是需要配置一个包含reader 的 writer 的json 文件，总体来说使用还是比较简单的，但是配置还是有点繁琐的。
springboot整合datax的使用
07-11
Spring Boot整合DataX的使用可以通过以下步骤来完成： 1. 添加DataX依赖：在pom.xml文件中添加DataX的依赖项。可以通过以下代码片段添加DataX的最新版本依赖： ```xml <groupId>com.alibaba</groupId> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

啊帅和和。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值