datax基于java数据同步（自建数据平台）

最新推荐文章于 2024-01-31 13:55:53 发布
最新推荐文章于 2024-01-31 13:55:53 发布
阅读量1.2k 收藏 4
点赞数 1
分类专栏： 大数据-数据同步-DATAX 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_wr/article/details/116238568
版权

背景介绍

公司搭建自己的数据平台，datax作为数据采集工具还是非常强有力的，但是官方是通过python调取datax.py文件实现数据同步的，没法子很好的集成在自己的数据平台上。

步骤

  1. 下载datax源码
  2. 在pom文件中去掉暂时用不到的reader、writer，这样maven时间比较块
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.alibaba.datax</groupId>
    <artifactId>datax-all</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.hamcrest</groupId>
            <artifactId>hamcrest-core</artifactId>
            <version>1.3</version>
        </dependency>
    </dependencies>

    <name>datax-all</name>
    <packaging>pom</packaging>

    <properties>
        <jdk-version>1.8</jdk-version>
        <datax-project-version>0.0.1-SNAPSHOT</datax-project-version>
        <commons-lang3-version>3.3.2</commons-lang3-version>
        <commons-configuration-version>1.10</commons-configuration-version>
        <commons-cli-version>1.2</commons-cli-version>
        <fastjson-version>1.1.46.sec10</fastjson-version>
        <guava-version>16.0.1</guava-version>
        <diamond.version>3.7.2.1-SNAPSHOT</diamond.version>

        <!--slf4j 1.7.10 和 logback-classic 1.0.13 是好基友 -->
        <slf4j-api-version>1.7.10</slf4j-api-version>
        <logback-classic-version>1.0.13</logback-classic-version>
        <commons-io-version>2.4</commons-io-version>
        <junit-version>4.11</junit-version>
        <tddl.version>5.1.22-1</tddl.version>
        <swift-version>1.0.0</swift-version>

        <project-sourceEncoding>UTF-8</project-sourceEncoding>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <maven.compiler.encoding>UTF-8</maven.compiler.encoding>
    </properties>

    <modules>
        <module>common</module>
        <module>core</module>
        <module>transformer</module>

        <!-- reader -->
        <!--<module>mysqlreader</module>-->
        <!--<module>drdsreader</module>-->
        <!--<module>sqlserverreader</module>-->
        <!--<module>postgresqlreader</module>-->
        <!--<module>kingbaseesreader</module>-->
        <module>oraclereader</module>
        <!--<module>odpsreader</module>-->
        <!--<module>otsreader</module>-->
        <!--<module>otsstreamreader</module>-->
        <!--<module>txtfilereader</module>-->
        <!--<module>hdfsreader</module>-->
        <module>streamreader</module>
        <!--<module>ossreader</module>-->
        <!--<module>ftpreader</module>-->
        <!--<module>mongodbreader</module>-->
        <!--<module>rdbmsreader</module>-->
        <!--<module>hbase11xreader</module>-->
        <!--<module>hbase094xreader</module>-->
        <!--<module>tsdbreader</module>-->
        <!--<module>opentsdbreader</module>-->
        <!--<module>cassandrareader</module>-->
        <!--<module>gdbreader</module>-->

        <!-- writer -->
        <!--<module>mysqlwriter</module>-->
        <!--<module>drdswriter</module>-->
        <!--<module>odpswriter</module>-->
        <!--<module>txtfilewriter</module>-->
        <!--<module>ftpwriter</module>-->
        <module>hdfswriter</module>
        <module>streamwriter</module>
        <!--<module>otswriter</module>-->
        <!--<module>oraclewriter</module>-->
        <!--<module>sqlserverwriter</module>-->
        <!--<module>postgresqlwriter</module>-->
        <!--<module>kingbaseeswriter</module>-->
        <!--<module>osswriter</module>-->
        <!--<module>mongodbwriter</module>-->
        <!--<module>adswriter</module>-->
        <!--<module>ocswriter</module>-->
        <!--<module>rdbmswriter</module>-->
        <!--<module>hbase11xwriter</module>-->
        <!--<module>hbase094xwriter</module>-->
        <!--<module>hbase11xsqlwriter</module>-->
        <!--<module>hbase11xsqlreader</module>-->
        <!--<module>elasticsearchwriter</module>-->
        <!--<module>tsdbwriter</module>-->
        <!--<module>adbpgwriter</module>-->
        <!--<module>gdbwriter</module>-->
        <!--<module>cassandrawriter</module>-->
        <!--<module>clickhousewriter</module>-->
        <!-- common support module -->
        <module>plugin-rdbms-util</module>
        <module>plugin-unstructured-storage-util</module>
        <!--<module>hbase20xsqlreader</module>-->
        <!--<module>hbase20xsqlwriter</module>-->
        <!--<module>kuduwriter</module>-->
    </modules>

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.apache.commons</groupId>
                <artifactId>commons-lang3</artifactId>
                <version>${commons-lang3-version}</version>
            </dependency>
            <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>fastjson</artifactId>
                <version>${fastjson-version}</version>
            </dependency>
            <!--<dependency>
                <groupId>com.google.guava</groupId>
                <artifactId>guava</artifactId>
                <version>${guava-version}</version>
            </dependency>-->
            <dependency>
                <groupId>commons-io</groupId>
                <artifactId>commons-io</artifactId>
                <version>${commons-io-version}</version>
            </dependency>
            <dependency>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-api</artifactId>
                <version>${slf4j-api-version}</version>
            </dependency>
            <dependency>
                <groupId>ch.qos.logback</groupId>
                <artifactId>logback-classic</artifactId>
                <version>${logback-classic-version}</version>
            </dependency>

            <dependency>
                <groupId>com.taobao.tddl</groupId>
                <artifactId>tddl-client</artifactId>
                <version>${tddl.version}</version>
                <exclusions>
                    <exclusion>
                        <groupId>com.google.guava</groupId>
                        <artifactId>guava</artifactId>
                    </exclusion>
                    <exclusion>
                        <groupId>com.taobao.diamond</groupId>
                        <artifactId>diamond-client</artifactId>
                    </exclusion>
                </exclusions>
            </dependency>

            <dependency>
                <groupId>com.taobao.diamond</groupId>
                <artifactId>diamond-client</artifactId>
                <version>${diamond.version}</version>
            </dependency>

            <dependency>
                <groupId>com.alibaba.search.swift</groupId>
                <artifactId>swift_client</artifactId>
                <version>${swift-version}</version>
            </dependency>

            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>${junit-version}</version>
            </dependency>

            <dependency>
                <groupId>org.mockito</groupId>
                <artifactId>mockito-all</artifactId>
                <version>1.9.5</version>
                <scope>test</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <repositories>
        <repository>
            <id>central</id>
            <name>Nexus aliyun</name>
            <url>https://maven.aliyun.com/repository/central</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </repository>
    </repositories>

    <pluginRepositories>
        <pluginRepository>
            <id>central</id>
            <name>Nexus aliyun</name>
            <url>https://maven.aliyun.com/repository/central</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>true</enabled>
            </snapshots>
        </pluginRepository>
    </pluginRepositories>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <finalName>datax</finalName>
                    <descriptors>
                        <descriptor>package.xml</descriptor>
                    </descriptors>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>2.3.2</version>
                <configuration>
                    <source>${jdk-version}</source>
                    <target>${jdk-version}</target>
                    <encoding>${project-sourceEncoding}</encoding>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

  1. cmd 执行maven命令
    mvn -U clean package assembly:assembly -Dmaven.test.skip=true（在datax主目录下）

  2. maven install到本地仓库
    在这里插入图片描述
    运行成功后在本地的maven仓库能看到这个目录
    在这里插入图片描述

  3. 起个项目，开始用java掉datax
    引入maven依赖

<dependency>
        <groupId>com.alibaba.datax</groupId>
        <artifactId>datax-core</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba.datax</groupId>
        <artifactId>streamreader</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba.datax</groupId>
        <artifactId>streamwriter</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </dependency>
    <dependency>
        <groupId>com.alibaba.datax</groupId>
        <artifactId>datax-all</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </dependency>

json配置文件

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 1,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello,DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 1
      }
    }
  }
}

执行java

public class EngineTest {
    public static void main(String[] args) {
        System.setProperty("datax.home", "E:\\Document\\intelliidea\\DataX\\target\\datax\\datax");
        String[] datxArgs = {"-job", "E:\\Document\\intelliidea\\dataxText\\src\\main\\resources\\stream2stream.json", "-mode", "standalone", "-jobid", "-1"};
        try {                           
            Engine.entry(datxArgs);   //从这里启动
        } catch (Throwable e) {
            e.printStackTrace();
        }
    }
}

参考文章

DataX之Java中集成DataX开发
在IDEA用java运行DataX

csdn_wr
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于通过java调用datax,返回任务执行的方法
08-25
今天小编就为大家分享一篇关于通过java调用datax,返回任务执行的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Datax多源数据同步工具介绍、详解及部署使用
T_Ghost的博客
01-05 1523
datax介绍及其使用方式
datax抽取mongo数据到hive数据错位解决方法
YuDan_liu的博客
02-26 1952
datax抽取mongo数据到hive数据错位解决方法 一.官网下载datax: 地址：https://github.com/alibaba/DataX 二.解压后用idea打开将mongodbreader模块下的MongoDBReader 代码替换成如下代码 package com.alibaba.datax.plugin.reader.mongodbreader; import java.u...
DataX介绍
最新发布
progammer10086的博客
01-31 1231
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。github地址详细文档操作手册支持数据框架如下：架构Reader：为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer：为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。
数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets
热门推荐
xiaozm1223的博客
04-29 1万+
工具比对： Kettle（传统的ETL工具） 特性：纯Java编写 优点：可在Windows、linux、Unix上执行；数据抽取高效稳定；子组件spoon有丰富的Steps可以开发复杂业务逻辑场景，方便实现全量、增量同步； 缺点：通过定时运行，实时性较差； 组成部分： Spoon：允许使用图形化界面实现ETL数据转换过程 Pan：批量运行Spoon数据转换过程 Chef：job（...
datax工具介绍及简单使用
qq_49001678的博客
09-09 875
Datax是一个异构数据源离线同步工具，致力于实现包括关系数据库、HDFS、Hive、ODPS、Hbase等各种异构数据源之间稳定高效的数据同步功能为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步；DataX在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已 持续稳定运行了7年之久。
DataX 是一个异构数据源离线同步工具
专注-享学课堂
12-23 7618
阿里云近期将离线数据同步工具DataX更新至3.0版。 新版本支持阿里云全线产品，支持十余款主流开源数据系统，可帮助企业和个人轻松实现不同数据源之间的数据同步。 开源地址：https://github.com/alibaba/DataX DataX简介 DataX 是一个异构数据源离线同步工具。 致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hi
DataX的安装和使用
xiaochen_bigdata的博客
12-14 2239
Datax的安装及使用
数据集成工具之DataX的安装和使用
糊里糊涂走进大数据的小菜鸡
12-07 1945
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。本文介绍其安装及基本使用方法
java快速整合datax 入门实例
mythsmyths的博客
05-07 820
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
java使用datax增量同步代码
04-19
java使用datax增量同步代码，直接放到项目可使用，支持增量，全量可配置，同步一张表只需添加一条记录
DataX Web分布式数据同步工具-其他
06-12
DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可...
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
common-datax:基于DataX的通用数据同步微服务，一个Restful接口搞定所有通用数据同步
05-13
已优化重构并迁移至datax-admincommon-datax基于阿里DataX开发一个通用导数的微服务，可以开发前台页面，根据reader和writer自动进行数据同步本项目只限于同步数据源量很少的时候使用，若是数据源很多的情况，请参考...
datax数据同步异常问题检测
09-02
解析datax同步日志，标记出异常的Job信息。
数据同步工具datax-web可视化工具
05-09
数据同步工具datax-web可视化工具，可实现跨数据库数据同步，项目实际使用实践请大家放心下载。
异构数据同步，阿里开源datax
09-02
打包好的支持Oracle\PostGreSQL\MySQL异构数据库间数据同步； 配置的模板解压见job目录下的 xx2xx_DEMO.json
datax的异构数据同步
07-02
datax的异构数据同步，配置简单，效率很高，对Oracle，MySQL，SQL server ，Hadoop，pg完美支持。 支持全量同步 支持增量同步 文档超详细，图文讲解
DataX使用测试数据csv
04-21
自己博客上用到的数据
datax多表数据同步
08-26
DataX是一个用于实现数据间离线同步的开源工具，它可以用来同步多表的数据。具体而言，DataX支持关系型数据库（如MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间的数据同步。它采用星型数据链路的设计，将复杂的网状同步链路变成了简单的星型结构，DataX作为中间传输载体连接各种数据源，实现稳定高效的数据同步。当需要接入新的数据源时，只需将该数据源对接到DataX，即可实现与已有数据源的无缝数据同步。因此，DataX可以满足多表数据同步的需求。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [使用 DataX 实现数据同步（高效的同步工具）](https://blog.csdn.net/m0_67393413/article/details/125383633)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值