数据传输系列（3）—— DataX 源码编译安装

已于 2025-01-07 14:46:09 修改
阅读量847 收藏 1
点赞数
分类专栏： 大数据从入门到精通 文章标签： 大数据 数据仓库 etl
于 2023-09-14 17:11:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shangjg03/article/details/132884952
版权

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

目前支持的数据源如下：

c96a4dd8130f481a809da2eda2c124d7.png

与sqoop的对比：

f0e8dc74978f421f8f175a37b3ad011e.png

1. 编译

1.1编译datax

idea打开datax项目，执行mvn命令：

mvn -U clean package assembly:assembly -Dmaven.test.skip=true
了解本专栏 订阅专栏 解锁全文
DataX 阿里巴巴 离线数据同步工具/平台使用2———mysql to elasticsearch
qq_15058425的博客
06-02 1825
将mysql数据同步到elasticsearch 安装的mysql和elasticsearch在同一台服务器上，elasticsearch版本6.5.1 1、安装DataX 下载源码：https://github.com/alibaba/DataX?spm=a2c4g.11186623.2.12.317b3680my463k 然后编译，编译过程中会出现一些jar无法下载的问题，可以在编...
[离线数仓] 总结一、数据采集
weixin_44428807的博客
12-29 637
服务名称子服务服务器hadoop111服务器hadoop112服务器hadoop113HDFSNameNode√DataNode√√SecondaryNameNode√YarnResourcemanager√NodeManager√√ZookeeperZookeeper Server√√√Flume（采集日志）Flume√KafkaKafka√√√Flume（Kafka日志）Flume√Flume（Kafka业务）Flume√Hive√MySQLMySQL√DataX√Spark√√√DolphinSche
DataX源码编译支持mysql8.0，支持Clickhouse的读写
10-13
Datax的源码编译，编译以后支持访问mysql8.0数据库，以及支持连接Clickhouse，从clickhouse读取数据，以及写入数据到clickhouse，当前编译版本已经在正式集群上采用，没有任何问题
编译datax
luo981695830的博客
06-28 1295
编译datax 编译datax0、前置环境1、下载源码2、第一次编译（失败）3、第二次编译（成功）4、编译成功之后5、测试 0、前置环境 maven 需要在windows下配置环境变量 idea java 1、下载源码 git clone https://github.com/alibaba/DataX.git 2、第一次编译（失败） 第一次编译时，遇到这个问题 解决办法： 2.1 下载源码 git clone https..
DataX Doriswriter 插件源码编译及从 MySQL读取数据后导入至 Doris 示例
学亮编程手记
11-30 926
jdbcUrl描述：Doris 的 JDBC 连接串，用户执行 preSql 或 postSQL。必选：是默认值：无loadUrl描述：作为 Stream Load 的连接目标。格式为 “ip:port”。其中 IP 是 FE 节点 IP，port 是 FE 节点的 http_port。，doriswriter 将以轮询的方式访问。必选：是默认值：无username描述：访问 Doris 数据库的用户名必选：是默认值：无password描述：访问 Doris 数据库的密码。
2024.02最新版DataX源码编译(解决踩坑)
2301_79479951的博客
02-03 1583
最常见的报错就是缺少依赖问题：org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde: Could not find artifact org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhy也可能遇到其他jar包问题。解决方案：下载官网编译好的安装包。注意1：生成到maven仓库地址是.m2/repository 建议配置maven的时候仓库是.m2/repository。
在Linux和Windows上编译DataX源码
zhangbeizhen18的博客
02-06 971
记录：370 场景：在CentOS 7.9操作系统上，使用apache-maven-3.8.7安装编译DataX源码。在Windows上操作系统上，使用apache-maven-3.8.7编译DataX源码。
DataX源码编译
docsz的博客
04-08 1009
1、下载源码 git clone git@github.com:alibaba/DataX.git 2、修改TSDBWriter类 2.1、修改pom依赖 <!-- tsdb --> <dependency> <groupId>com.aliyun</groupId> <artifactId>hitsdb-client</artifactId> <
DataX 多源异构
最新发布
01-17
DataX 将复杂的网状同步链路转换成星型数据链路，通过作为中间传输载体来连接各种数据源。这种架构使得新数据源的接入变得非常简便，只需将其对接到 DataX 即可实现与其他已有数据源之间的无缝数据同步[^1]。 #### ...
大数据工程师零基础起步——成长路线引入
ElsaWu的布袋子
08-06 504
即写即用大数据开发基础1 编程语言1.1 JAVA1.2 Scala（优先级靠后，有遇到需要用的时候再学，如Spark）2 数据结构和算法3 计算机网络4 操作系统5 数据库基础6 设计模式7 LINUX系统（使用层面）基本开发工具1 Linux操作系统2 SSH终端3 FTP/SFTP工具4 IDE5 源码控制工具6 构建工具具体流程——数据采集1 数据类型2 数据来源3 数据采集（收集/聚合）3.1 Flume(分布式的数据采集和聚合框架)3.2 Logstash（开源数据收集引擎）4 数据迁移（同步/
编译 datax
weixin_30509393的博客
07-24 362
datax 是阿里巴巴官方开源的一个数据同步工具，可以用于诸多数据源之间的同步，并且使用简单、效率高。 datax 官方有提供编译好的版本，可以直接下载，但是其中包含有 BUG。 我最近遇到的一个问题是，当从 MongoDB 同步数据到传统的结构化数据库时（如MySQL），会出现字段无法对齐的情况。 举个例子。比如 MongoDB 中存在这样的一个 Collection： 当同步到 mysql ...
DataX源码...
04-13
Datax源码；异构数据源同步；大数据；alibaba开源框架
编译DataX
司马懿的西山居
07-12 2501
下载 DataX 首先，访问 DataX 官网地址 https://github.com/alibaba/DataX/ 进行下载 编译 DataX 下载后解压 DataX，在确保已经安装了maven之后，进入DataX目录，执行 mvn -U clean package assembly:assembly -Dmaven.test.skip=true 命令进行编译。 java14以上的编译问题 如果 java 版本是14以下，那么不会有问题。如果 java 版本跟我一样是 15，则会报如下错误 由于在
Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4
上官hao的博客
12-03 6279
Failed to execute goal org.apache.maven.plugins:maven-surefire-plugin:2.12.4:test (default-test) on project SpringCRUD: There are test failures. Please refer to D:\mycode\springCRUD\target\surefire-reports for the individual test results. 解决方法： 这是因为测试代码
DataX(一)：编译运行
shaobing_的博客
05-24 503
运行：/opt/homebrew/bin/python3 datax.py stream.json。配置文件core/target/datax/bin/stream.json文件。注意datax.py目录在core目录下，这里以stream进行测试。本人开发环境Macbook M1，一切顺利～接下来可以愉快的进行Debug啦。
Windows7环境下Datax源码编译
wzl_csdn_001的博客
08-21 435
DataX源码编译
DataX编译笔记
玄火的专栏
12-13 1062
DataX编译笔记DataX简介获取源码DataX 编译和使用环境本文编译环境编译DataX常见问题Maven 仓库配置问题tablestore-streamclient版本问题odpsreader里odps-sdk-core依赖问题Maven打包编译参考 DataX简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、Po...
DataX源码打包编译采坑记
热门推荐
点点的博客
09-30 1万+
一、什么是DataX DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台。 实现包括MySQL，SQL Server，Oracle，PostgreSQL，HDFS，Hive，HBase，OTS，ODPS等各种异构数据源之间高效的数据同步功能。 二、工具部署 方法一、直接下载DataX工具包：DataX下载地址 下载地址：https://github.com/alibaba/DataX/b...
在Linux和Windows上编译datax-web源码
zhangbeizhen18的博客
02-09 1000
记录：371 场景：在CentOS 7.9操作系统上，使用apache-maven-3.8.7安装编译datax-web源码。在Windows上操作系统上，使用apache-maven-3.8.7编译datax-web源码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值