DataX 重编译支持MySQL 8.0 附带编译包下载

最新推荐文章于 2024-04-08 17:44:36 发布
最新推荐文章于 2024-04-08 17:44:36 发布
阅读量1.9k 收藏 9
点赞数 5
分类专栏： datax mysql8 文章标签： mysql intellij idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41871150/article/details/124255053
版权

一、前言

        DataX 是阿里云开源的数据同步工具，在测试使用的时候发现，DataX并不支持MySQL8.0以上的版本，在这里记录一下自己重新编译的过程，当作是个人笔记。

        源码地址：DataX

二、前期准备

​​​​​1、下载源码

2、修改根目录的pom.xml文件

除了MySQL插件外，注销其他的插件，其他的插件直接用官方打包好的即可

3、修改mysqlreader和mysqlwriter目录下的pom.xml文件

最低0.47元/天 解锁文章
李子兮
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DataX源码编译支持mysql8.0，支持Clickhouse的读写
10-13
Datax的源码编译，编译以后支持访问mysql8.0数据库，以及支持连接Clickhouse，从clickhouse读取数据，以及写入数据到clickhouse，当前编译版本已经在正式集群上采用，没有任何问题
datax读写MySQL8的插件
04-19
datax读写MySQL8的插件，修改源码重新编译而来
Datax同步GBase8a数据到MySQL测试
最新发布
keep__go的博客
04-08 426
Datax同步GBase8a数据到MySQL测试
【datax3.0同步mysql8】
m0_49889089的博客
05-15 630
DataX 是阿里云开源的数据同步工具，在使用的时候发现，DataX并不支持MySQL8.0以上的版本。
DataX二次开发——（2）解决MySQL8不兼容问题
Carson073的博客
07-28 1716
(同理，替换reader和writer是一样)
使用DataX对MySQL 8.1进行数据迁移
动哒APP—运动健康科技提供商
08-29 572
DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
如何修改DataX使其支持Mysql8.0
weixin_41640312的博客
07-31 1549
修改DataX使其支持Mysql8.0
DataX支持MySQL-8读写
docsz的博客
04-08 2487
datax
DataX不支持Mysql8.x
诚的博客
11-27 2082
1.报错信息为 2.解决方案:将DataX使用的mysql驱动包替换为对应的Mysql8.x版本 mysql驱动包路径: ${HOME目录}/datax/plugin/reader/mysqlreader/libs 从网上下载mysql8.x , 例如 mysql8.0.18的下载地址是：https://cdn.mysql.com//Downloads/Connector-J/mysq...
使用datax-we调用hive数据到mysql8注意事项
weixin_56425963的博客
03-31 327
datax-web-2.1.2/modules/datax-admin/lib中mysql-connnetion的版本，如果太低，需要更换，mysql-connector-java-8.0.22.jar这是我的jar版本。更换后最好重新启动。datax-web的启动命令;注意：如果原始数据的类型有问题，可以将字段都设置为string和varchar类型。二、确保hive数据表里的字段和MySQL表中的相同，字段类型相对应。datax-web调用hive的数据到mysql8。
datax支持mysql版本_解决DataX支持Mysql 8的读写
weixin_42465238的博客
01-18 836
前言：如果是第一次安装使用datax，或您服务器Mysql版本是 <= 5.7的，请先参考我之前的随笔：https://www.cnblogs.com/zifan/p/9194793.html。背景：Mysql从5.6升级到8.0.19之后，发现原先正常跑的datax出错了。先来看下我的报错信息：(看不清请放大网页)1 2020-03-18 10:00:10.038 [0-0-0-write...
mysql8的驱动jar包
06-23
mysql8的驱动jar包
DataX clickhousereader clickhousewriter 插件包下载
07-20
编译好的 Clickhousereader Clickhousewriter 插件包 放在 datax\plugin 目录下 即可运行
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
DataX 源码改造支持Mysql 8.X
热门推荐
03-26 3万+
这个错误在GitHub 上有人提到了，如果你的maven版本太低可以尝试升级，但是maven 3.9.X 也不行，太新了，因为与之匹配的。这里我们只是针对mysql 的读写操作进行了改动，所以打包的时候我们可以将那些其他没有改动的模块注释掉，不需要打包，这里报了一个错误。和我们在idea 打包后的进行对比，发现我们可以直接将这个文件夹下的全部文件进行替换，可以打包。这里我们克隆源代码，在IDEA 中打开，修改mysql 的依赖的版本，如下图所示。所这里我是限制了插件的版本，这下就可以打包成功了。
Datax及Datax-web 下载使用
四维大脑的博客
08-01 2631
datax部署，datax连接mysql8，datax-web部署
初次使用datax,发现datax不支持mysql8.x
hello world
09-18 5234
一:下载安装 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz tar -zxvf datax.tar.gz -C /usr/local/ 二: 官方文档https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md 三:简单案例 (1)str...
DataX Mysql8兼容问题
u013256012的博客
07-29 793
1 问题描述 问题描述可以去看https://github.com/alibaba/DataX/issues/146 主要报错 java.sql.SQLException: The connection property 'zeroDateTimeBehavior' acceptable values are: 'CONVERT_TO_NULL', 'EXCEPTION' or 'ROUND'. The value 'convertToNull' is not acc...
datax mysql8不支持
qq_33203749的博客
12-15 1161
docker-compose 一开始安装MySQL的版本是8.0，用datax做离线数据同步发现不支持，要退回5.7 MySQL降到5.7 1、先备份数据库数据 2、docker-compose down 3、docker volume prune 4、设置MySQL的镜像版本到5.7，执行 docker-compose up -d ...
DataX项目插件源码如何编译打包
06-12
1. 下载最新版本的 DataX 并解压到本地。 2. 进入 DataX 的根目录，找到您想要编译的插件的源码目录。例如，如果您想要编译 HdfsReader 插件，可以进入 reader/hdfsreader 目录。 3. 执行以下命令进行编译打包： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值