datax介绍和用法

最新推荐文章于 2024-06-09 23:57:58 发布
最新推荐文章于 2024-06-09 23:57:58 发布
阅读量1k 收藏 23
点赞数 23
文章标签： Datax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sheep55/article/details/138137945
版权

Datax

简介

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

使用说明：

DataX支持数据源链接：https://github.com/alibaba/DataX/blob/master/introduction.md

DataX安装

DataX安装

1、上传依赖、
2、解压
tar -zxvf datax.tar.gz
3、配置环境变量
vim /etc/profile
添加环境变量
source /etc/profile

注意：DataX所使用的环境为Python2，Python3环境下执行会报错

在这里插入图片描述

DataX使用

测试案例

Mysql2Mysql

stream2stream.json

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

channel表示 并发数

“print”: true 表示打印到控制台

“sliceRecordCount”: 10 表示每个并发生成的测试数据条数

运行

 datax.py stream2stream.json

结果显示五十条数据，因为通道channel:5和"sliceRecordCount": 10

Mysql2Mysql .json

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                         	"clazz",
                         	"last_mod"
                        ],
                        "where": "clazz like '文科%'",
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "student"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://master:3306/data?useSSL=false"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                           	"id",
                            "name",
                            "age",
                            "gender",
                         	"clazz",
                         	"last_mod"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/data?useSSL=false&useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "datax_stu"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

writeMode: insert表示数据插入 update表示根据目标表的主键进行数据的更新操作 replace 表示主键覆盖写入

Mysql2Mysql-qureySQL

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        
                        "splitPk": "id",
                        "connection": [
                            {
                                "querySql": [
                                    "select t2.*,t1.total_score FROM( SELECT student_id ,sum(score) as total_score from score  GROUP BY student_id ) t1 join student t2 on t1.student_id = t2.id
"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://master:3306/student?useSSL=false"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz",
                            "last_mod",
                            "total_score"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/data?useSSL=false&useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "score_student"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
Mysql2HDFS

mysql2hdfs

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        
                        "splitPk": "id",
                        "connection": [
                            {
                                "querySql": [
                                    "select t2.*,t1.total_score FROM( SELECT student_id ,sum(score) as total_score from score  GROUP BY student_id ) t1 join student t2 on t1.student_id = t2.id
"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://master:3306/student?useSSL=false"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://master:9000",
                        "fileType": "text",
                        "path": "/user/hive/warehouse/bigdata.db/students_scores",
                        "fileName": "students_scores",
                        "column": [
                            {
                                "name": "id",
                                "type": "STRING"
                            },
                            {
                                "name": "name",
                                "type": "STRING"
                            },
                            {
                                "name": "age",
                                "type": "INT"
                            },
                            {
                                "name": "gender",
                                "type": "STRING"
                            },
                            {
                                "name": "clazz",
                                "type": "STRING"
                            },
                            {
                                "name": "last_mod",
                                "type": "STRING"
                            },
                            {
                                "name": "total_score",
                                "type": "INT"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": ","
                    
                    }
                }
            }
        ]
    }
}

  • hdfs2mysql

    {
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader":  {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/datax/stu_score/*",
                        "defaultFS": "hdfs://master:9000",
                        "column": [
                            {
                                "index": "0",
                                "type": "STRING"
                            },
                            {
                                "index": "1",
                                "type": "STRING"
                            },
                            {
                                "index": "2",
                                "type": "STRING"
                            },
                            {
                                "index": "3",
                                "type": "STRING"
                            },
                            {
                                "index": "4",
                                "type": "STRING"
                            },
                            {
                                "index": "5",
                                "type": "STRING"
                            }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": ","
                    }

                },
               "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz",
                            "total_score"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/datax?useSSL=false&useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "stu_score_2"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

    {“message”:“No enum constant com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUtil.Type.INT”,“record”:[{“byteSize”
    :10,“index”:0,“rawData”:“1500100001”,“type”:“STRING”},{“byteSize”:3,“index”:1,“rawData”:“施笑槐”,“type”:“STRING”}],“type”:“reader”}

    HDFS中读取文本数据时，所有列的类型都可以给定一个String类型，在插入数据到Mysql时，会做自动类型转换

Hbase2Mysql

  • Mysql2Hbase

    {
  "job": {
    "setting": {
      "speed": {
        "channel": 3
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0.02
      }
    },
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "123456",

            "splitPk": "id",
            "connection": [
              {
                "querySql": [
                  "select t2.*,t1.total_score FROM( SELECT student_id ,sum(score) as total_score from score  GROUP BY student_id ) t1 join student t2 on t1.student_id = t2.id"
                ],
                "jdbcUrl": [
                  "jdbc:mysql://master:3306/student?useSSL=false"
                ]
              }
            ]
          }
        },
        "writer": {
          "name": "hbase11xwriter",
          "parameter": {
            "hbaseConfig": {
              "hbase.zookeeper.quorum": "master:2181,node1:2181,node2:2181"
            },
            "table": "score_stu",
            "mode": "normal",
            "rowkeyColumn": [
              {
                "index":0,
                "type":"string"
              },
              {
                "index":-1,
                "type":"string",
                "value":"_"
              },{
                "index":6,
                "type":"string"
              }
            ],
            "column": [
              {
                "index":1,
                "name": "info:name",
                "type": "string"
              },
              {
                "index":2,
                "name": "info:age",
                "type": "string"
              },
              {
                "index":3,
                "name": "info:gender",
                "type": "string"
              },
              {
                "index":4,
                "name": "info:clazz",
                "type": "string"
              },
              {
                "index":6,
                "name": "info:total_score",
                "type": "string"
              }
            ],
            "encoding": "utf-8"
          }
        }
      }
    ]
  }
}

  • hbase2mysql

    {
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 10,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader":  {
                    "name": "hbase11xreader",
                    "parameter": {
                        "hbaseConfig": {
                            "hbase.zookeeper.quorum": "master:2181"
                        },
                        "table": "api:stu",
                        "encoding": "utf-8",
                        "mode": "normal",
                        "column": [
                            {
                                "name": "rowkey",
                                "type": "string"
                            },
                            {
                                "name": "info: name",
                                "type": "string"
                            },
                            {
                                "name": "info: age",
                                "type": "string"
                            },
                            {
                                "name": "info: gender",
                                "type": "string"
                            },
                            {
                                "name": "info: clazz",
                                "type": "string"
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/datax?useSSL=false&useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "stu"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
小柔的
关注
  • 23
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DataX使用指南
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
datax python3用法和使用总结
04-20
datax python3用法和使用总结 自己用过超级好用，现在免费提供下载，希望给我点个赞，感谢你，希望你打代码不加班 详细 https://blog.csdn.net/m0_37969960/article/details/105643956
【转】dataX简介
hero_xsx的博客
10-29 664
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
datax最新所有输入输出API说明
12-29
本文档是包含截止到上传日期为止，最新最全的有关异构数据库迁移工具DataX的所有配置API说明文档。有需要的可以下载使用。文档可以直接打开看，如果不习惯使用MD文件的，也可以使用markdown转换为HTML也可以。都是技术出身，你懂的。
DataX（DataX简介、部署、同步数据）
最新发布
2301_77836489的博客
06-09 1186
DataX（DataX简介、部署、同步数据）
DataX介绍
热门推荐
m0_61607827的博客
03-12 7万+
DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX设计理念 DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和..
DataX
程序工厂
03-12 3781
DataX的环境搭建以及简单测试 什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
星光不问赶路人，岁月不负有心人
06-29 1万+
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
使用idea启动DataX的方法示例
08-25
在开发和调试过程中，我们通常会使用集成开发环境（IDE）如IntelliJ IDEA来启动DataX任务。以下是一个详细的使用Idea启动DataX的示例教程。 首先，我们需要获取DataX的源代码。可以从官方GitHub仓库克隆或下载DataX...
datax之hivereader
11-04
总结，DataX之HiveReader在数据同步过程中扮演着至关重要的角色，理解其工作原理和配置细节对于提升数据迁移的效率和准确性至关重要。在实际使用中，结合具体业务需求进行合理配置和优化，可以充分发挥HiveReader的...
Datax-ClickHouse读写插件
02-17
本文将详细解析这一插件的特性和使用方法。 一、ClickHouse简介 ClickHouse是一款高性能的列式存储数据库管理系统（MPP），特别适合于在线分析处理（OLAP）场景，能够快速处理大量数据查询。它的优势在于对结构化...
datax数据迁移插件-oscarreader
01-16
标题中的"datax数据迁移插件-oscarreader"指的是DataX中的一个特定插件，用于数据...在实际操作中，开发者或运维人员需要了解DataX的使用方法，以及奥斯卡数据库的相关知识，才能有效地利用这个插件进行数据迁移工作。
一文带你看懂DataX离线同步工具(图文并茂，看完就懂)
丷江南南的博客
06-19 2万+
DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。阿里云DataX源码用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将 Reader 和 Writer 的信息配置在一个 json 文件。
详解DataX及使用
wenqi
04-26 2万+
DataX概述 简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 支持数据源 DataX架构原理 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 框架设
DataX 概述、部署、数据同步运用示例
JIE的博客 --- moon_coder
09-15 3134
DataX是阿里巴巴集团开源的、通用的数据抽取工具，广泛使用的离线数据同步工具/平台。它设计用于支持多种数据源之间的高效数据传输，可以实现不同数据源之间的数据同步、迁移、ETL（抽取、转换、加载）等数据操作。多数据源支持：DataX支持多种数据源，包括关系型数据库（如 MySQL、Oracle、SQL Server）、NoSQL 数据库（如 MongoDB、HBase、Redis）、HDFS、FTP、Hive 等。扩展性。
DataX简介、部署、原理和使用介绍
wt334502157的博客
02-17 5504
​ DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
Datax入门使用
qq_44134480的博客
04-23 9782
DataX入门使用 一、简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Datax将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件
DataX 的使用
zwyoozwz的博客
06-20 5402
关于DataX的使用
DataX从入门实战到精通一文搞定
prefect_start的博客
08-14 4022
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。Oracle Database，又名 Oracle RDBMS，或简称 Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说 Oracle 数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。.
datax：如何使用datax
06-01
datax是一个开源的数据同步工具，可以实现不同数据源之间的数据同步。使用datax，需要按照以下步骤进行： 1. 下载datax，可以在官网 https://github.com/alibaba/DataX/releases 下载最新版本。 2. 编写job配置文件，指定源数据和目标数据的连接信息、数据表、字段映射等信息。 3. 运行datax，执行以下命令：python {datax_home}/bin/datax.py {job_file_path}。 4. 查看同步结果，可以在控制台输出或者指定输出文件查看同步结果。 需要注意的是，datax支持的数据源类型非常丰富，包括关系型数据库、NoSQL数据库、Hadoop、FTP等，具体使用方法需要根据不同的数据源类型进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值