dataX-windows系统的Mysql到Mysql（三）

最新推荐文章于 2024-06-28 23:04:57 发布
最新推荐文章于 2024-06-28 23:04:57 发布
阅读量874 收藏
点赞数 2
分类专栏： dataX 文章标签： mysql 数据库 datax
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43345864/article/details/122195822
版权
本文介绍了在Windows 10环境下，使用DataX 3.0进行MySQL 8.0.27数据库之间的数据迁移操作。重点讨论了job.json配置文件的设置，包括mysqlreader的where条件限制和mysqlwriter的writeMode及preSql配置，以确保数据迁移的准确性和目标表的操作。
摘要由CSDN通过智能技术生成

执行环境python3.7 , datax3.0, windows10,mysql8.0.27

一、获取job.json样本
python D:\dataxTest\datax\bin\datax.py -r mysqlreader -w mysqlwriter > mysqlTomysql.json

  • mysqlTomysql.json配置如下
{
   
    "job": {
   
        "content": [
            {
   
                "reader": {
   
                    "name": "mysqlreader",
                    "parameter": {
   
                        "column": ["id","lable","lable2","lable3","lable4"],
                        "connection": [
                            {
   
                                "jdbcUrl": ["jdbc:mysql://IP:端口/datax?useSSL=false&useUnicode=true&characterEncoding=utf8&s
最低0.47元/天 解锁文章
魂落忘川犹在川
关注
专栏目录
datax数据同步：Mysql 2 Mysql 的简单实践（本地windows）（含几个编译报错的解决方法）
daoerZ的博客
08-16 1938
本文基于windows环境使用datax，Linux环境下酌情参考。 开发工具与环境参数： Windows环境：IDEA、JDK1.8、Maven3.6.0、Python 2.7.16 Linux环境：MySQL5.7.25（部署在两台虚拟机） 一、环境准备 windows版的Python的安装和环境参数配置，参考https://www.runoob.c...
DataX 重编译支持MySQL 8.0 附带编译包下载
李子兮的博客
04-19 2076
一、前言 DataX 是阿里云开源的数据同步工具，打算在公司内部引入时发现，DataX目前版本并不支持MySQL8.0以上的版本，只能自己动手重新编译。 源码地址：DataX 二、
datax读写MySQL8的插件
04-19
datax读写MySQL8的插件，修改源码重新编译而来
datax3.0数据迁移连接不上mysql8.0
weixin_41561946的博客
11-04 1092
项目背景 将云上的ADB3.0的数据迁移到本地mysql8.0.20中，发现datax3.0不好使了，只能通过kettle或navicat功能来同步了，但同步效率不高，为了彻底解决该问题，决定查看datax源码 解决思路 1、查看mysqlreader和writer源码引用的包 2、从相应的引用包找到mysql连接的类名 3、上传相应的mysql驱动包到 4、修改pom.xml文件 个人思考 1、mysql数据库版本与驱动程序是否需要一 致？ 2、高版本的mysql驱动程序是否能跨大版本向下兼容？ 3
dataX同步SQLserver到MySQL数据
最新发布
goodlook0123的专栏
06-28 1360
DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
datax 从mysql到mysql
weixin_30336061的博客
07-12 286
需求：把a服务器上mysql数据迁移到b服务器上mysql中。 1、下载datax: https://github.com/alibaba/DataX 2.解压tar -zxvf datax.tar.gz 3.编辑作业文件 diag.json { "job": { "content": [ { ...
datax-web-2.1.2.zip
08-14
首先，DataX 是阿里巴巴开源的离线数据同步工具，支持多种数据源之间的数据迁移，包括但不限于 MySQL、Oracle、HDFS、HBase、ADS 等。DataX Web 是 DataX 的Web版本，它将原本需要编写配置文件的任务转换为直观的...
datax-web-2.1.2.tar.gz+datax.tar.gz
05-31
DataX支持众多数据源，如MySQL、Oracle、HDFS、Redis等，几乎涵盖了所有的主流数据库和大数据存储系统。 在ETL过程中，DataX扮演着关键角色。提取（Extract）阶段，DataX通过Reader插件从源数据存储中读取数据；...
datax-increase:datax增量改造 mysql到ES的定时自动同步改造 ES部署优化文档 单机集群文档
05-08
datax-increase datax增量改造
数据同步工具datax-web可视化工具
05-09
DataX是阿里巴巴开源的一款强大的数据同步框架，支持多种数据库之间的数据迁移，包括MySQL、Oracle、SQL Server、PostgreSQL等。DataX-Web在DataX的基础上增加了Web管理界面，方便用户进行任务配置、执行和监控。 1...
java调用shell向DataX传递参数，where条件，包含特殊字符
04-10
java调用shell向DataX传递参数，where条件，包含特殊字符。java调用shell向DataX传递参数，where条件，包含特殊字符
如何修改DataX使其支持Mysql8.0
weixin_41640312的博客
07-31 2191
修改DataX使其支持Mysql8.0
Datax从mysql同步数据到mysql
一杯咖啡半杯糖的博客
11-09 4850
在实际使用Datax的时候，可能会使用Datax同步mysq数据到mysql，实现数据库跨库同步或者多个mysql之间相互同步，那么怎么实现呢？我们一步步来实现（基于Datax 3.0.0）
dataX-windows版安装与实操(mysql8、python3) (一)
破碎琉璃为哪般
12-27 1612
操作环境: mysql 8.0.27、windows10、datax3.0 、python3.7.3、Navicat Premium15 下载地址800多M ：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、安装与测试 1.建立无中文，无空格目录解压下载的安装包 python3.0需要替换安装目录bin下的3个文件 替换文件下载：链接: https://pan.baidu.com/s/1gPQtrqu2emJnTP.
Datax 配置mysql ssl连接
TIANTIANDOUNITIAN的博客
12-31 1079
1、clone datax源码，根模块只保留mysqlreader、mysqlwriter、plugin-rdbms-util3个模块 2、全局搜索com.mysql.jdbc.Driver 替换成 com.mysql.cj.Driver 3、修改mysqlreader、mysqlwriter模块的pom.xml中的mysql版本为8.0.22 4、执行maven clean package -Dmaven.test.skip=true 5、找到mysqlreader模块->target-&g
mysqlReader
mjlfto的博客
01-29 891
最近学习datax,做个小笔记：内容来自：https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md 快速介绍 MysqlReader插件实现了从Mysql读取数据。在底层实现上，MysqlReader通过JDBC连接远程Mysql数据库，并执行相应的sql语句将数据从mysql库中SELECT出来。 不同...
DataX之MysqlReader插件的使用介绍
weixin_41633141的博客
06-25 5957
DataX之MysqlReader插件的使用介绍一、原理介绍MysqlReader是通过JDBC连接方式远程连接到数据库，然后根据用户配置的参数生成SELECT SQL语句或者根据用户自定义的SQL语句，执行SQL获取数据库的目标信息，然后采用DataX自定义数据类型封装结果集，交由Writer插件处理。    简而言之， MysqlReader就是通过JDBC的方式连接数据库，然后通过SELEC...
datax--分库分表mysql同步数据到hive中
qq_46893497的博客
11-25 5220
一、背景及问题 分表100张 数据量8.6亿 需要使用datax从mysql同步至hdfs（hive） 之前是100个任务写入ods层的一张表 二、解决
datax-web-2.1.2
07-27
datax-web-2.1.2是一个版本为2.1.2的DataX Web工具。要安装datax-web-2.1.2，您可以按照以下步骤进行操作： 1. 下载datax-web-2.1.2.tar.gz压缩包，并将其放置在服务器上。 2. 解压缩datax-web-2.1.2.tar.gz文件，可以使用命令：tar -zxvf datax-web-2.1.2.tar.gz。 3. 进入解压后的目录，并执行安装脚本。如果您想使用交互模式安装，可以运行./bin/install.sh命令，并按照提示填写MySQL信息。如果您不想使用交互模式，可以运行./bin/install.sh --force命令跳过确认过程。 4. 修改控制器datax-admin的配置文件，即./datax-web-2.1.2/modules/datax-admin/conf/application.yml文件。 5. 修改执行器datax-executor的配置文件，即./datax-web-2.1.2/modules/datax-executor/conf/application.yml文件。 6. 如果您的数据库还没有创建和授权，您可以按照以下步骤进行操作： - 使用MySQL 8.0及以上版本创建数据库：create database `datax-web` character set utf8mb4; - 创建用户并授权：CREATE USER 'datax'@'%' IDENTIFIED BY '111111'; grant all privileges on *.* to datax@'%' with grant option; - 修改用户密码：ALTER USER 'datax'@'%' IDENTIFIED WITH mysql_native_password BY '111111'; 7. 启动datax-web，进入./datax-web-2.1.2/bin目录，并执行./start-all.sh命令，即可同时启动控制器和执行器。如果您想单独启动，可以使用命令./start.sh -m datax-admin或./start.sh -m datax-executor。 请注意，以上步骤仅适用于datax-web-2.1.2版本。如果您使用的是其他版本，请参考相应的安装文档。 #### 引用[.reference_title] - *1* *2* *3* [datax与datax-web安装部署](https://blog.csdn.net/m0_71142057/article/details/124898812)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值