dataX简单使用

最新推荐文章于 2024-08-02 10:44:46 发布
最新推荐文章于 2024-08-02 10:44:46 发布
阅读量446 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifestxx/article/details/104794180
版权

1 下载

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2 直接解压使用

tar zxvf datax.tar.gz -C /opt/

3 配置各种json

oracle到mysql的o2m.json

{

  "setting": {},

  "job": {

    "setting": {

      "speed": {

        "channel": 2

      }

    },

    "content": [

      {

        "reader": {

          "name": "oraclereader",

          "parameter": {

            "column": ["*"],

            "connection": [

              {

                "jdbcUrl": ["jdbc:oracle:thin:@192.168.x.x:1521:orcl"],

                "table": ["hello.a_info"]

              }

            ],

            "password": "hello",

            "username": "hello"

          }

        },

        "writer": {

          "name": "mysqlwriter",

  "parameter": {

            "column": ["*"],

            "connection": [

              {

                "jdbcUrl": "jdbc:mysql://192.168.x.x:3306/oracle_x?useUnicode=true",

                "table": ["a_info"]

              }

            ],

            "writeMode": "insert",

            "password": "hellomysql",

            "username": "hellomysql"

          }

        }

      }

    ]

  }

}

4 运行

python datax.py o2m.json

等执行完毕检查数据是否一致。

注：

1 mysql版本号

5.7 与8 需要修改对应的

/plugin/writer/mysqlwriter/libs/mysql-connector-java-5.1.34.jar

其余不需要修改。

而mysql需要建库建表。

select dbms_metadata.get_ddl('TABLE','') from dual

5 类似配置oracle2hdfs.json, oracle2txt.json等

 

自由自在梦在何方
关注
专栏目录
数据同步工具—DataX部署使用
10-02 4万+
这一节我们主要介绍了DataX 的使用，使用的时候我们主要是需要配置一个包含reader 的 writer 的json 文件，总体来说使用还是比较简单的，但是配置还是有点繁琐的。
DataX的简单应用
Maverifer的博客
05-24 2370
DataX的简单应用实验实验平台及相关准备实验内容1.官方实例测试2.通过DataX将csv文件从本地linux文件系统同步到HDFS。3.通过DataX将HDFS里的csv文件同步到Mysql数据库中。准备实验4.通过DataX将Mysql数据同步到Hbase中。5.通过Datax将本地Mysql数据同步到自己的云数据库Mysql中。准备实验总结 实验平台及相关准备 操作系统：Linux JDK版本：1.8 Python版本：2.7 实验前准备了一个csv文件。 其部分内容如下： 实验内容 ps:实验中
datax简单使用
qq_35010942的博客
09-16 101
Datax执行命令后出现乱码问题： 控制台出现乱码：直接输入CHCP 65001回车即可 执行： python datax.py …/job/advert_media_prod_03.json
DataX介绍
最新发布
damokelisijian866的博客
08-02 787
1. 定义与背景DataX是阿里巴巴集团内部广泛使用的离线数据同步工具/平台，后被开源出来供外部用户使用。它基于Java语言编写，通过插件化的方式支持多种数据源之间的数据同步和迁移。DataX的设计理念是“简单、可靠、高效”，旨在解决大数据领域复杂的数据同步问题。2. 主要特点高效稳定：DataX采用分布式架构，支持多线程并行处理数据，能够快速、稳定地完成大规模数据迁移。易用性强：DataX的配置和使用都非常简单，配置文件和命令行参数都非常易懂，即使是初学者也能够快速上手。功能丰富。
datax
eric_lee的专栏
01-24 1143
python bin/datax.py -p "-Dstarttime='2018-01-15 00:00:00' -Dendtime='2018-01-15 23:59:59' -Ddays='2018-01-15' " ../job/writemysql1.json {     "job": {         "setting": {        
DataX
weixin_50396049的博客
02-24 762
DataX:异构数据源离线同步工具 源码地址：https://github.com/alibaba/DataX 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz ·安装过后自检 ·python /bin/datax.py /job/job.json ·dataX的使用:只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer ·查看dataX配置文件模板 ·python /bin/data
Datax简单使用
weixin_42003068的博客
05-07 462
阿里开源ETL工具——dataX简单上手 一、概述 1.是什么？ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 开源地址 二、简介 　　1.设计架构 ...
datax 导入数据中文乱码_DataX简单使用
weixin_39880615的博客
02-06 922
背景最近在重构权限管理系统(PMS)，因此在验证新开发功能的行为是否和旧功能相同时，采用了一种思路，控制相同的输入，比对输出是否尽可能一致。因为重构选用了微服务的架构，对于数据库这边拆分成了多个库。因此开发时需要将原先的PMS库的数据迁移到异构的多个数据库中。迁移方案迁移的基本思路是写转换sql语句，查出数据并导入目标库的目标表思路1查出的数据导出到Excel，然后通过Excel导入到目的库。这种...
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 ...DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris，适配doriswriter 插件。
大数据之DataX
weixin_47884711的博客
03-16 4046
第1章 DataX简介 1.1 DataX概述 ​ DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 ​ 源码地址：https://github.com/alibaba/DataX 1.2 DataX支持的数据源 DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图。 类
springboot整合datax的使用
07-11
Spring Boot整合DataX的使用可以通过以下步骤来完成： 1. 添加DataX依赖：在pom.xml文件中添加DataX的依赖项。可以通过以下代码片段添加DataX的最新版本依赖： ```xml <dependency> <groupId>com.alibaba</groupId> <artifactId>datax</artifactId> <version>最新版本</version> </dependency> ``` 2. 配置DataX任务：在Spring Boot的配置文件中，添加DataX任务的配置。可以通过以下代码片段来配置一个简单的DataX任务： ```properties # DataX任务配置 datax.job.config=file:/path/to/job.json ``` 其中，`file:/path/to/job.json`是DataX任务的配置文件路径。 3. 创建DataX任务配置文件：在项目中创建一个DataX任务的配置文件，例如`job.json`。在该文件中，可以定义数据源、目标源、数据转换等信息。以下是一个简单的示例： ```json { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "password", "column": [ "id", "name" ], "connection": [ { "querySql": [ "select id, name from user" ], "jdbcUrl": [ "jdbc:mysql://localhost:3306/test" ] } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "username": "root", "password": "password", "column": [ "id", "name" ], "connection": [ { "jdbcUrl": "jdbc:mysql://localhost:3306/test", "table": [ "user_copy" ] } ] } } } ], "setting": { "speed": { "channel": 3 } } } } ``` 以上示例中，使用了MySQL作为数据源和目标源，将`user`表中的数据复制到`user_copy`表中。 4. 创建DataX任务：在Spring Boot应用中，创建一个类来执行DataX任务。可以通过以下代码片段来创建一个简单的任务执行类： ```java import com.alibaba.datax.core.DataX; import org.springframework.stereotype.Component; @Component public class DataXTask { public void execute() { String[] args = {"-job", "/path/to/job.json"}; DataX.main(args); } } ``` 以上示例中，`execute()`方法使用DataX的`main()`方法执行DataX任务。 5. 调用DataX任务：在需要调用DataX任务的地方，可以通过依赖注入的方式调用`DataXTask`类的`execute()`方法。例如，在某个Controller中调用： ```java @RestController public class MyController { @Autowired private DataXTask dataXTask; @GetMapping("/datax") public String runDataXTask() { dataXTask.execute(); return "DataX任务执行完成"; } } ``` 以上示例中，当访问`/datax`接口时，会执行DataX任务，并返回执行结果。 这样，就完成了Spring Boot整合DataX的使用。你可以根据实际需求，修改DataX任务的配置和执行方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值