DataX简单使用

最新推荐文章于 2024-06-21 21:07:17 发布
最新推荐文章于 2024-06-21 21:07:17 发布
阅读量636 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forerunner123/article/details/115261447
版权

一、dataX简介
阿里巴巴一款异构数据源离线同步工具，可实现mysql、oracle、hdfs、hive、odps、hbase等各种异构数据源之间稳定高效的数据同步功能。

1.1 datax设计
将复杂的网状同步链路转为星型链路，data作为中间节点链接各种数据接口，方便管理与开发维护。
在这里插入图片描述
1.2 框架设计
类似于flume的框架设计，
reader：采集模块，包含各个数据源的读取接口
channel：中间数据缓存，并发控制、数据转换
writer：同reader
在这里插入图片描述
1.3 运行原理
在这里插入图片描述

job：管理单个作业，负责数据清理、划分子任务、taskGroup监控管理
task：datax作业的最小单元，每个task负责一部分数据同步工作
schedule：将task组成taskgroup，单个taskgroup大小为5；
taskGroup：启动管理task

2.安装与使用
2.1 下载地址
源码：https://github.com/alibaba/DataX
安装包：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
在这里插入图片描述
2.2 依赖
linux
jdk 1.8以上
python 2.6.x以上

下载、解压即可使用
在这里插入图片描述
运行示例：
bin/datax.py job/job.json

  1. 打印json模板
    python bin/datax.py -r mysqlreader -w hdfswriter
    在这里插入图片描述
    在这里插入图片描述
forerunner123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
simpledatax-service：将datax改成一个java服务包，支持单jvm同时运行多个实例，整合编程代码，提供api调用接口，可以直接集成到现有服务框架
02-21
关于simpledatax 背景 simpledatax基于阿里开源数据采集工具datax做了一些减法，适合特定的场景。关于阿里的datax请移步 重点说明 恢复数据时实例之间的冲突。 将插件包和调度包集成到同一个包内，方便修改。 插件间不再使用不同的类加载器。插件预加载机制。同时不改变参数的json配置处理机制。 新增参数对象作为入参，封装接口，提取关键参数的配置。 修改内部调度机制，可删除睡眠收集任务执行状态的机制，修改为各个任务执行完成时汇报情况，使用未来获取返回结果，可以稍微提高下效率。 新增返回调度结果实例。用于界面展现。 可移除TaskGroupContainer，只能单机使用，如果需要扩展建议结合分布式服务框架使用。 调整了信息汇报部分代码，目前来看更加直观，也更容易修改。 文档说明 请参考阿里各个插件的文档。如果有更新需要替换插件并调整下代码。 调用示例 public st
Datax与云平台集成的三种方法详解
weixin_43221753的博客
01-14 400
本文介绍了Datax与云平台集成的实现方法，Datax作为一款阿里集团开发的数据同步工具，可通过API接口、SDK及自定义插件三种方式与云平台进行深度集成。其中，API和SDK调用能便捷启动数据同步任务并跟踪作业状态，而自定义插件则支持执行特定操作以满足更复杂场景需求。随着云计算技术发展，Datax将持续优化与云平台集成能力，为企业云端数据迁移提供有力支持。
【大数据离线项目二：数仓数据传输工具--DataX的使用】
最新发布
书生的技术分享
06-21 1516
数仓工具Data X 的使用！使用DataX是如何进行数据的传输也就是说怎么从mysql或者是SQLserver数据库将数据传输到hive数仓中！Data X怎么使用！数据的同步方式！
DataX 是一个异构数据源离线同步工具
专注-享学课堂
12-23 7650
阿里云近期将离线数据同步工具DataX更新至3.0版。 新版本支持阿里云全线产品，支持十余款主流开源数据系统，可帮助企业和个人轻松实现不同数据源之间的数据同步。 开源地址：https://github.com/alibaba/DataX DataX简介 DataX 是一个异构数据源离线同步工具。 致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hi
datax基于java数据同步（自建数据平台）
csdn_wr的博客
04-28 1317
背景介绍 公司搭建自己的数据平台，datax作为数据采集工具还是非常强有力的，但是官方是通过python调取datax.py文件实现数据同步的，没法子很好的集成在自己的数据平台上。 步骤 下载datax源码 在pom文件中去掉暂时用不到的reader、writer，这样maven时间比较块 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi
数据集成工具之DataX的安装和使用
糊里糊涂走进大数据的小菜鸡
12-07 1985
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。本文介绍其安装及基本使用方法
DataX使用入门
mynameisjinxiaokai的博客
01-17 3091
DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。下载对应的MySQL驱动版本：https://static.runoob.com/download/mysql-connector-java-8.0.16.jar。方法二、下载DataX源码，自己编译：DataX源码。
Datax安装及使用文档.doc
09-23
DataX 安装及使用文档 DataX 是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统（RDBMS/Hdfs/Local filesystem）之间的数据交换，由淘宝数据平台部门完成。DataX 插件分为 Reader ...
datax安装包+命令使用说明
09-29
这个“datax安装包+命令使用说明”压缩包应该包含了DataX的安装文件和详细的使用指南，帮助用户进行安装和操作。 首先，我们来了解一下DataX的基本概念。DataX作为一个数据同步框架，它的核心思想是通过插件化设计...
datax的使用.pdf
03-18
由于DataX是阿里巴巴集团内部广泛使用的数据同步工具，它的开源和托管在GitHub上，方便了社区开发者对于代码的贡献和维护，也促进了社区交流和项目的发展。DataX作为离线数据同步框架，其高度的灵活性和可扩展性使其...
datax介绍及使用
09-07
DataX 是一款优秀的异构数据源离线同步工具，由阿里巴巴开发，基于 Python，提供各种数据源的读写插件，多线程执行，使用起来非常简单。 DataX 框架设计 DataX 采用 Framework + Plugin 架构构建，将数据源读取和...
java集成datax所需pom依赖包
04-09
Java集成DataX涉及到的是数据同步工具的使用，DataX是阿里巴巴开源的一款用于大数据搬移的工具，它能够高效地支持大量数据在不同数据存储之间进行迁移。在这个场景中，"java datax"标签表明我们将讨论如何在Java项目...
DataX学习笔记-Writer插件开发
PURSUE ONE PIECE
05-25 7285
6、在DataX安装目录的plugins/writer目录下新建eswriter目录，并将build/plugins目录下的 eswriter-1.0.0.jar，plugins-common-1.0.0.jar 和 ParamKey.java 放到新建的eswriter目录下。2、在com.taobao.datax.plugins.writer包下面创建一个eswriter包，新建ESWriter.java，ParamKey.java。5、在项目目录下执行ant命令。
DataX使用说明
此成非彼诚博客
11-08 6866
DataX使用说明
离线同步工具Datax的介绍及安装部署
xiao_ying_bo_ke的博客
02-20 2929
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
DataX源码分析 writer
老码农的博客
02-14 1238
在 DataX 中，writer 是数据同步过程中的一个核心组件，负责将数据写入到目标数据源。下面是对 DataX 中 writer 组件的源码分析：Writer 接口定义：DataX 的 writer 组件首先定义了一个 Writer 接口，该接口定义了 writer 需要实现的基本方法，如 init(), write(), post() 等。不同的数据源插件需要实现这个接口，提供对应的数据写入逻辑。
Datax数据处理自定义接口--Transformer的实现及使用
T_Ghost的博客
01-08 1206
datax会在初始化时加载TransformerRegistry并将指定的Transformer进行注册。要将自定义的Transformer加入其注册的静态代码块中。
详解DataX及使用
热门推荐
wenqi
04-26 2万+
DataX概述 简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 支持数据源 DataX架构原理 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 框架设
Java集成阿里巴巴的datax
weixin_43164465的博客
06-15 1248
alibaba datax java调用。
springboot整合datax的使用
07-11
Spring Boot整合DataX的使用可以通过以下步骤来完成： 1. 添加DataX依赖：在pom.xml文件中添加DataX的依赖项。可以通过以下代码片段添加DataX的最新版本依赖： ```xml <dependency> <groupId>com.alibaba</groupId> <artifactId>datax</artifactId> <version>最新版本</version> </dependency> ``` 2. 配置DataX任务：在Spring Boot的配置文件中，添加DataX任务的配置。可以通过以下代码片段来配置一个简单的DataX任务： ```properties # DataX任务配置 datax.job.config=file:/path/to/job.json ``` 其中，`file:/path/to/job.json`是DataX任务的配置文件路径。 3. 创建DataX任务配置文件：在项目中创建一个DataX任务的配置文件，例如`job.json`。在该文件中，可以定义数据源、目标源、数据转换等信息。以下是一个简单的示例： ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "password", "column": [ "id", "name" ], "connection": [ { "querySql": [ "select id, name from user" ], "jdbcUrl": [ "jdbc:mysql://localhost:3306/test" ] } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "username": "root", "password": "password", "column": [ "id", "name" ], "connection": [ { "jdbcUrl": "jdbc:mysql://localhost:3306/test", "table": [ "user_copy" ] } ] } } } ], "setting": { "speed": { "channel": 3 } } } } ``` 以上示例中，使用了MySQL作为数据源和目标源，将`user`表中的数据复制到`user_copy`表中。 4. 创建DataX任务：在Spring Boot应用中，创建一个类来执行DataX任务。可以通过以下代码片段来创建一个简单的任务执行类： ```java import com.alibaba.datax.core.DataX; import org.springframework.stereotype.Component; @Component public class DataXTask { public void execute() { String[] args = {"-job", "/path/to/job.json"}; DataX.main(args); } } ``` 以上示例中，`execute()`方法使用DataX的`main()`方法执行DataX任务。 5. 调用DataX任务：在需要调用DataX任务的地方，可以通过依赖注入的方式调用`DataXTask`类的`execute()`方法。例如，在某个Controller中调用： ```java @RestController public class MyController { @Autowired private DataXTask dataXTask; @GetMapping("/datax") public String runDataXTask() { dataXTask.execute(); return "DataX任务执行完成"; } } ``` 以上示例中，当访问`/datax`接口时，会执行DataX任务，并返回执行结果。 这样，就完成了Spring Boot整合DataX的使用。你可以根据实际需求，修改DataX任务的配置和执行方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值