Datax学习

最新推荐文章于 2024-06-25 22:54:10 发布
最新推荐文章于 2024-06-25 22:54:10 发布
阅读量1k 收藏 29
点赞数 19
文章标签： 学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46935426/article/details/139969045
版权

DataX学习

DataX3.0概览

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。学习可见官网资料(https://github.com/alibaba/DataX)。

设计理念：

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。

DataX框架设计

image.png

  • Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。
  • Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
  • Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

DataX插件体系

image.png image.png

DataX核心架构

datax_arch

DataX六大核心优势

可靠的数据质量监控

丰富的数据转换功能

精准的速度控制

强劲的同步性能

健壮的容错机制

极简的使用体验

DataX与sqoop对比

功能DataXSqoop
运行模式单进程多线程MR
分布式不支持，可以通过调度系统规避支持
流控有流控功能需要定制
统计信息已有一些统计，上报需定制没有，分布式的数据收集不方便
数据校验在core部分有校验功能没有，分布式的数据收集不方便
监控需要定制需要定制

DataX部署

1.下载datax jar包

地址：(https://github.com/alibaba/DataX?tab=readme-ov-file)

2.上传jar包 解压并配置环境变量

tar -zxvf datax.tar.gz 
#添加环境变量
DATAX_HOME=/usr/local/soft/datax
export PATH=$DATAX_HOME/bin:$PATH
#生效
source /etc/profile

3.自检

#给bin目录下的datax.py赋予执行权限
chmod +x datax.py 
#查看是否成功安装
python ./bin/datax.py ./job/job.json

DataX使用

在bigdata30目录下创建datax_jsons文件夹用于存储脚本

mkdir datax_jsons

小例子：创建stream2stream.json

{
    "job": {
        "setting": {
            "speed": {
                "channel":1
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column" : [
                            {
                                "value": "我是",
                                "type": "string"
                            },
                            {
                                "value": "大",
                                "type": "string"
                            },
                            {
                                "value": "帅",
                                "type": "string"
                            },
                            {
                                "value": "哥",
                                "type": "string"
                            },
                            {
                                "value": "哈哈哈",
                                "type": "string"
                            }
                        ],
                        "sliceRecordCount": 10 // 打印次数
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true,   //是否打印
                        "encoding": "UTF-8"
                    }
                }
            }
        ]
    }
}

运行 datax.py stream2stream.json

结果：

image.png

DataX配置文件格式

编写json文件的步骤：

1、根据你确定的reader和writer来使用命令生成对应的模板

2、去github上找到对应参数值的写法，主要是看参数是否是必须项，有什么影响

如果你不知道怎么写模版 可以去官网查看 或者使用如下命名查看DataX配置文件模板。

datax.py -r mysqlreader -w hdfswriter #以mysql-->hdfs为例

生成模版：

解读：json最外层是一个job，job包含setting和content两部分，其中setting用于对整个job进行配置，content用户配置数据源和目的地。

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [], 
                        "connection": [
                            {
                                "jdbcUrl": [], 
                                "table": []
                            }
                        ], 
                        "password": "", 
                        "username": "", 
                        "where": ""
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [], 
                        "compress": "", 
                        "defaultFS": "", 
                        "fieldDelimiter": "", 
                        "fileName": "", 
                        "fileType": "", 
                        "path": "", 
                        "writeMode": ""
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}

然后，可以根据官网给出的样例进行更改：

image.png

在参数说明中还能了解哪些参数必选和默认值等内容：

image.png

类型转换

image.png

mysql2hdfs

更改模版：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
                            "CId",
                            "Cname",
                            "Tid"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://master:3306/Y1?useUnicode=true&characterEncoding=UTF-8&useSSL=false"], 
                                "table": ["Course"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root" 
                        // where不是必选项 直接删掉
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [
                            {
                                "name": "CId",
                                "type": "String"
                            },
                            {
                                "name": "Cname",
                                "type": "String"
                            },
                            {
                                "name": "Tid",
                                "type": "String"
                            }
                        ],  
                        //"compress": "NONE",      // 是否压缩   不是必选项删掉
                        "defaultFS": "hdfs://master:9000", 
                        "fieldDelimiter": ",", // 列分隔符
                        "fileName": "Course", 
                        "fileType": "text",   // 文件类型
                        "path": "/bigdata30/dataxout1", 
                        "writeMode": "append"   //hdfswriter写入前数据清理处理模式
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

运行报错 ： 路径不存在 说明要提前创建路径

hdfs dfs -mkdir /bigdata30/dataxout1

运行：

datax.py mysql2hdfs.json

成功 hdfs出现文件：

image.png

查看文件内容：

image.png

mysql2mysql

场景：将Y1数据库中的Course表同步到datax1数据库中

生成 MySQL 到 MySQL 同步的模板：

datax.py -r mysqlreader -w mysqlwriter

查看官网mysqlwrite模版，写出自己的模版

在datax数据库中新建Course表

create table if not exists datax1.Course(
    CId varchar(10),
    Cname nvarchar(10),
    TId varchar(10)
)

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
                            "CId",
                            "Cname",
                            "Tid"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://master:3306/Y1?useUnicode=true&characterEncoding=UTF-8&useSSL=false"], 
                                "table": ["Course"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root" 
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                            "CId",
                            "Cname",
                            "Tid"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/datax1?useUnicode=true&characterEncoding=UTF-8&useSSL=false", 
                                "table": ["Course"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

运行

datax.py mysql2mysql.json

结果 在datax数据库中的Course表中出现数据：

image.png

mysql2hive

场景：

将mysql中的Studnet表数据同步到hive中的Students表中

查看模版

datax.py -r mysqlreader -w hdfswriter

在hive中建表

create table bigdata30.Students(
    Sid STRING,
    Sname STRING,
    Sage DATE,
    Ssex STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

编写配置文件mysql2hive.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
                            "SId",
                            "Sname",
                            "Sage",
                            "Ssex"
                
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://master:3306/Y1?useUnicode=true&characterEncoding=UTF-8&useSSL=false"], 
                                "table": ["Student"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root" 
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [
                            {
                                "name": "SId",
                                "type": "string"
                            },
                            {
                                "name": "Sname",
                                "type": "string"
                            },
                            {
                                "name": "Sage",
                                "type": "Date"
                            },
                            {
                                "name": "Ssex",
                                "type": "string"
                            }
                        ], 
                        "defaultFS": "hdfs://master:9000", 
                        "fieldDelimiter": ",",
                        "fileName": "students", 
                        "fileType": "text",  
                        "path": "/user/hive/warehouse/bigdata30.db/students", 
                        "writeMode": "append"  
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

运行

datax.py mysql2hive.json

hive students表中出现数据

image.png

hdfs2mysql == hive2mysql

场景：

将hive中的t_movie1表中的数据传入mysql中

查看模版

datax.py -r hdfsreader -w mysqlwriter

根据官方文档编写配置文件

DataX 内部类型Hive表 数据类型
LongTINYINT,SMALLINT,INT,BIGINT
DoubleFLOAT,DOUBLE
StringString,CHAR,VARCHAR,STRUCT,MAP,ARRAY,UNION,BINARY
BooleanBOOLEAN
DateDate,TIMESTAMP

先在mysq建一张输出表

create table if not exists datax1.datax_out1(
    id bigint,
    name varchar(100),
    types varchar(100),
    shengfen varchar(10)
)CHARSET = utf8 COLLATE utf8_general_ci;

编辑配置文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader", 
                    "parameter": {
                        "column": [
                            {
                                "index": 0,
                                "type": "long"
                               },
                               {
                                "index": 1,
                                "type": "string"
                               },                           
                               {
                                "index": 2,
                                "type": "string"
                               },                           
                               {
                                "type": "string",    // 给一个定值
                                "value":"学生"
                               }
                        ], 
                        "defaultFS": "hdfs://master:9000", 
                        "encoding": "UTF-8", 
                        "fieldDelimiter": ",", 
                        "fileType": "text", 
                        "path": "/user/hive/warehouse/bigdata30.db/t_movie1/*"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "types",
                            "shengfen"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/datax1?useUnicode=true&characterEncoding=UTF-8&useSSL=false", 
                                "table": ["datax_out1"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

运行 mysql中的datax_out1表中出现数据

image.png

mysql2hbase

场景

将mysql中的datax_out1表数据写入hbase中的datax_tb1中

查看模版

datax.py -r mysqlreader -w hbase20xsqlwriter  #hbase的版本是2.2.7

HBase20xsqlwriter实现了向hbase中的SQL表(phoenix)批量导入数据的功能。Phoenix因为对rowkey做了数据编码，所以，直接使用HBaseAPI进行写入会面临手工数据转换的问题，麻烦且易错。本插件提供了SQL方式直接向Phoenix表写入数据。

  • 仅支持通过Phoenix QeuryServer导入数据，因此您Phoenix必须启动QueryServer服务才能使用本插件

所以我们不使用这种，使用Hbase11XWriter，根据官方文档挑选出必选的参数

官方文档：hbase11xwriter/doc/hbase11xwriter.md

在hbase中新建表

create 'datax_tb1','info'

编写配置文件 mysql2hbase.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "types",
                            "shengfen"
                
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://master:3306/datax1?useUnicode=true&characterEncoding=UTF-8&useSSL=false"], 
                                "table": ["datax_out1"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root" 
                    }
                },
                "writer": {
                    "name": "hbase11xwriter",
                    "parameter": {
                      "hbaseConfig": {
                        "hbase.zookeeper.quorum": "master:2181,node1:2181,node2:2181"
                      },
                      "table": "datax_tb1",
                      "mode": "normal",
                      "rowkeyColumn": [
                          {
                            "index":0,
                            "type":"long"
                          }
                      ],
                      "column": [
                        {
                          "index":1,
                          "name": "info:name",
                          "type": "string"
                        },
                        {
                          "index":2,
                          "name": "info:types",
                          "type": "string"
                        },
                        {
                          "index":3,
                          "name": "info:shengfen",
                          "type": "string"
                        }
                      ],
                      "encoding": "utf-8"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

运行 扫描datax_tb1表：

image.png

hbase2mysql

场景

将hbase中的datax_tb1表数据写入mysql中的datax_out2中

查看模版

datax.py -r hbase11xreader -w mysqlwriter

官方文档：hbase11xreader/doc/hbase11xreader.md

先在mysql中建表：

create table if not exists datax1.datax_out2(
    id bigint,
    name varchar(100),
    types varchar(100),
    shengfen varchar(10)
)CHARSET = utf8 COLLATE utf8_general_ci;

编写配置文件 hbase2mysql.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hbase11xreader", 
                    "parameter": {
                        "column": [
                            {
                                "name": "rowkey",
                                "type": "long"
                            },
                            {
                                "name": "info: name",
                                "type": "string"
                            },
                            {
                                "name": "info: types",
                                "type": "string"
                            },
                            {
                                "name": "info: shengfen",
                                "type": "string"
                            }
                        ], 
                        "encoding": "utf-8", 
                        "hbaseConfig": {"hbase.zookeeper.quorum": "master:2181,node1:2181,node2:2181"}, 
                        "mode": "normal",                       
                        "table": "datax_tb1"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                            "Id",
                            "name",
                            "types",
                            "shengfen"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/datax1?useUnicode=true&characterEncoding=UTF-8&useSSL=false", 
                                "table": ["datax_out2"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

运行 mysql中的datax_out2中出现数据：

image.png

mysql增量同步到hive

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz",
                            "last_mod"
                        ],
                        "splitPk": "age",
                        "where": "id > 9",   //条件筛选
                        "connection": [
                            {
                                "table": [
                                    "student"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://master:3306/datax1"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://master01:9000",
                        "fileType": "text",
                        "path": "/user/hive/warehouse/bigdata30.db/dataxstudent",
                        "fileName": "student",
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "age",
                                "type": "INT"
                            },
                            {
                                "name": "gender",
                                "type": "string"
                            },
                            {
                                "name": "clazz",
                                "type": "string"
                            },
                            {
                                "name": "last_mod",
                                "type": "string"
                            }
                        ],
                        "writeMode": "append",   // 增量导入   全量导入  truncate
                        "fieldDelimiter": ","
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 6
            }
        }
    }
}
sunsetgaia
关注
  • 19
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
datax的json范例
08-26
DataX是阿里巴巴开源的一款强大的数据同步工具，它能够高效、稳定地进行大数据迁移工作，支持多种数据源之间的数据同步。这个“datax的json范例...在学习过程中，可以结合实际的数据源和目标数据源进行实践，加深理解。
一文带你看懂DataX离线同步工具(图文并茂，看完就懂)
丷江南南的博客
06-19 2万+
DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。阿里云DataX源码用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将 Reader 和 Writer 的信息配置在一个 json 文件。
大数据学习之DataX
最新发布
m0_58050808的博客
06-25 1134
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
DataX介绍
m0_61607827的博客
03-12 7万+
DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 DataX设计理念 DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和..
DataX
程序工厂
03-12 3888
DataX的环境搭建以及简单测试 什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(
DataX使用指南
热门推荐
陪你听风的博客
05-08 11万+
简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。 DataX安装部署及小试 1.下载压缩包： 下载页面地址：https://github.com/a...
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
星光不问赶路人，岁月不负有心人
06-29 1万+
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
详解DataX及使用
wenqi
04-26 2万+
DataX概述 简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 支持数据源 DataX架构原理 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 框架设
datax源码在线下载
12-17
DataX是阿里巴巴开源的一款用于大数据同步的工具，它支持多种数据源之间的数据迁移，包括RDBMS（关系型数据库...对于希望深入理解大数据同步以及有志于从事相关开发工作的人员，研究DataX源码是一个很好的学习途径。
DataX源码...
04-13
通过深入学习和理解DataX源码，开发者不仅可以熟练使用DataX进行数据同步，还能根据业务需求进行定制化开发，提升数据迁移的效率和灵活性。同时，DataX的优秀设计思路也为其他大数据项目提供了参考和借鉴。
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
07-03
这个压缩包中的内容是关于DataX的JSON范例和一个相关的图片，对于初学者来说是很好的学习资源。 JSON范例（以`ApplicationHistory.json`为例）通常会展示DataX任务的配置信息，这是DataX执行数据同步任务的核心部分...
DataX 概述、部署、数据同步运用示例
JIE的博客 --- moon_coder
09-15 3220
DataX是阿里巴巴集团开源的、通用的数据抽取工具，广泛使用的离线数据同步工具/平台。它设计用于支持多种数据源之间的高效数据传输，可以实现不同数据源之间的数据同步、迁移、ETL（抽取、转换、加载）等数据操作。多数据源支持：DataX支持多种数据源，包括关系型数据库（如 MySQL、Oracle、SQL Server）、NoSQL 数据库（如 MongoDB、HBase、Redis）、HDFS、FTP、Hive 等。扩展性。
DataX简介、部署、原理和使用介绍
wt334502157的博客
02-17 5903
​ DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
DataX（DataX简介、部署、同步数据）
2301_77836489的博客
06-09 2053
DataX（DataX简介、部署、同步数据）
DataX 简介及架构原理
King_S_H的博客
05-24 1万+
DataX 简介及架构原理 概述 DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具 异构数据源：不同存储结构的数据源 致力于实现包括关系型数据库 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS...
DataX介绍以及优缺点分析
qq_29359303的博客
09-09 1万+
DataX介绍以及和sqoop对比，和性能对比 DataX介绍： DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括 关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等 各种异构数据源之间稳定高效的数据同步功能。 DataX设计理念 DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件， ...
阿里云开源离线同步工具DataX3.0介绍
Xlucas的博客
12-08 5541
一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、MaxCompute(原ODPS)、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负
Datax介绍
记忆是一座桥的博客
01-14 1万+
1.datax简介         DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS(Hadoop分布式文件系统)、Hive(hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 )、ODPS(ODPS是分布式的海量数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值