DataX源码编译

已于 2022-04-08 15:25:29 修改
阅读量981 收藏 1
点赞数
分类专栏： datax 文章标签： datax
于 2022-04-08 14:32:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/docsz/article/details/124039777
版权
本文档介绍了如何将DataX集成到TSDB中，包括从GitHub克隆源码，修改TSDBWriter的pom依赖以使用0.3.7版本的hitsdb-client，然后通过mvn命令进行编译打包。当遇到HdfsHelper报错时，通过执行mvn install命令安装datax-common-0.0.1-SNAPSHOT.jar并更新pom依赖来解决问题。
摘要由CSDN通过智能技术生成

1、下载源码

git clone git@github.com:alibaba/DataX.git

2、修改TSDBWriter类

在这里插入图片描述
2.1、修改pom依赖

        <!-- tsdb -->
        <dependency>
            <groupId>com.aliyun</groupId>
            <artifactId>hitsdb-client</artifactId>
<!--            <version>0.4.0-SNAPSHOT</version>-->
            <version>0.3.7</version>
        </dependency>

3、编译打包

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

4、解决HdfsHelper报错

4.1、mvn install jar

mvn install:install-file -Dfile=./target/datax/datax/lib/datax-common-0.0.1-SNAPSHOT.jar -DgroupId=com.alibaba.datax -DartifactId=common -Dversion=0.0.1-SNAPSHOT -Dpackaging=jar

4.2、修改pom依赖

在这里插入图片描述

docsz
关注
专栏目录
DataX源码编译支持MySQL8
thewayofsuccess的专栏
08-11 312
1. 下载源码 git clone https://github.com/alibaba/DataX.git cd DataX/ 2. 修改如下信息 $ git diff . diff --git a/package.xml b/package.xml index 882dd23..7f4d7a9 100755 --- a/package.xml +++ b/package.xml @@ -378,13 +378,6 @@ </includes> ..
DataX-Web源码Idea编译部署手册源码idea编译部署手册
奇妙的Bug之旅
03-26 1472
分别在datax-admin（datax-web\datax-admin\pom.xml）和datax-executor（datax-web\datax-executor\pom.xml）下面的pom.xml文件中添加文件中添加如下内容。3、将datax-admin下的target/classes/mybatis-mapper下的所有xml文件拷贝进datax-admin-2.1.2.jar下的BOOT-INF\classes\mybatis-mapper下。
datax 常见问题
最新发布
xingxin550的博客
09-05 272
查看MAVEN 版本号是否为：3.5.4。这里有个很奇怪的问题，他编译要使用的MAVEN 版本号必须为3.5.4。原因：这是由于使用二进制安装包中的datax 相关的jar 出现的问题。千万不要使用Maven 工具进行编译操作。使用以下命令在命令行中进行编译。
DataX源码编译支持mysql8.0，支持Clickhouse的读写
10-13
Datax的源码编译，编译以后支持访问mysql8.0数据库，以及支持连接Clickhouse，从clickhouse读取数据，以及写入数据到clickhouse，当前编译版本已经在正式集群上采用，没有任何问题
编译datax
luo981695830的博客
06-28 1268
编译datax 编译datax0、前置环境1、下载源码2、第一次编译（失败）3、第二次编译（成功）4、编译成功之后5、测试 0、前置环境 maven 需要在windows下配置环境变量 idea java 1、下载源码 git clone https://github.com/alibaba/DataX.git 2、第一次编译（失败） 第一次编译时，遇到这个问题 解决办法： 2.1 下载源码 git clone https..
在Linux和Windows上编译DataX源码
zhangbeizhen18的博客
02-06 898
记录：370 场景：在CentOS 7.9操作系统上，使用apache-maven-3.8.7安装编译DataX源码。在Windows上操作系统上，使用apache-maven-3.8.7编译DataX源码。
DataX 源码编译安装
shangjg3的博客
09-14 680
编译DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
2024.02最新版DataX源码编译(解决踩坑)
2301_79479951的博客
02-03 1113
最常见的报错就是缺少依赖问题：org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde: Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhy也可能遇到其他jar包问题。解决方案：下载官网编译好的安装包。注意1：生成到maven仓库地址是.m2/repository 建议配置maven的时候仓库是.m2/repository。
datax源码在线下载
12-17
DataX是阿里巴巴开源的一款用于大数据同步的工具，它支持多种数据源之间的数据迁移，包括RDBMS（关系型数据库...对于希望深入理解大数据同步以及有志于从事相关开发工作的人员，研究DataX源码是一个很好的学习途径。
大数据学习——dataX工具部署和源码编译
qifengsunny的博客
03-28 2913
为了做大数据项目数据抽取工作，开始学习dataX，尝试比较dataX（版本 3.0）与sqoop的功能与性能差异。以下教程包括： 下载dataX工具及简要使用、下载dataX源码尝试编译及遇到的问题、尝试改造开源项目dataX 一、下载dataX工具及简要使用 gitHub下载（在下面的README里，Quick Start栏中）：https://github.com/alibaba/Dat...
Windows7环境下Datax源码编译
wzl_csdn_001的博客
08-21 417
DataX源码编译
DataX源码打包编译采坑记
热门推荐
点点的博客
09-30 1万+
一、什么是DataX DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。 实现包括MySQL，SQL Server，Oracle，PostgreSQL，HDFS，Hive，HBase，OTS，ODPS等各种异构数据源之间高效的数据同步功能。 二、工具部署 方法一、直接下载DataX工具包：DataX下载地址 下载地址：https://github.com/alibaba/DataX/b...
datax源代码编译安装
gongxiucheng的专栏
11-20 273
what is DataX ？ DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。 实现包括MySQL，SQL Server，Oracle，PostgreSQL，HDFS，Hive，HBase，OTS，ODPS等各种异构数据源之间高效的数据同步功能。 1.从Github下载源码，地址：https://github.com/alibaba/DataX?spm=a2c4e.1115394...
编译DataX
司马懿的西山居
07-12 2439
下载 DataX 首先，访问 DataX 官网地址 https://github.com/alibaba/DataX/ 进行下载 编译 DataX 下载后解压 DataX，在确保已经安装了maven之后，进入DataX目录，执行 mvn -U clean package assembly:assembly -Dmaven.test.skip=true 命令进行编译。 java14以上的编译问题 如果 java 版本是14以下，那么不会有问题。如果 java 版本跟我一样是 15，则会报如下错误 由于在
Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4
上官hao的博客
12-03 6256
Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4:test (default-test) on project SpringCRUD: There are test failures. Please refer to D:\mycode\springCRUD\target\surefire-reports for the individual test results. 解决方法： 这是因为测试代码
编译 datax
weixin_30509393的博客
07-24 348
datax 是阿里巴巴官方开源的一个数据同步工具，可以用于诸多数据源之间的同步，并且使用简单、效率高。 datax 官方有提供编译好的版本，可以直接下载，但是其中包含有 BUG。 我最近遇到的一个问题是，当从 MongoDB 同步数据到传统的结构化数据库时（如MySQL），会出现字段无法对齐的情况。 举个例子。比如 MongoDB 中存在这样的一个 Collection： 当同步到 mysql ...
Alibaba DataX 源码编译
anghiking20140716的博客
05-27 539
Alibaba DataX 源码编译 标签（空格分隔）： ETL DataX简介 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 当前使用现状 DataX在阿里巴巴集团内被广泛使用，承担了所有大...
DataX编译笔记
玄火的专栏
12-13 1040
DataX编译笔记DataX简介获取源码DataX 编译和使用环境本文编译环境编译DataX常见问题Maven 仓库配置问题tablestore-streamclient版本问题odpsreader里odps-sdk-core依赖问题Maven打包编译参考 DataX简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、Po...
DataX源码解析与定制指南
资源摘要信息:"DataX 是阿里巴巴开源的一款数据同步工具，支持在各种异构数据源之间高效地进行数据同步。...DataX源码的修改和编译需要一定的Java开发经验，建议在熟悉DataX工作原理和源码结构的基础上进行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值