使用datax进行增量复制

最新推荐文章于 2023-12-01 20:14:07 发布

hbhe0316

最新推荐文章于 2023-12-01 20:14:07 发布

阅读量976

点赞数

分类专栏： linux系统文章标签： mysql 数据库

本文链接：https://blog.csdn.net/hbhe0316/article/details/120731296

版权

本文档详细介绍了如何使用DataX进行MySQL数据库的增量复制。首先，文章讲述了环境准备，包括源端和目标端的IP、数据库及表的信息。接着，提到了驱动包的选择，针对MySQL 8.0.20版本，需要使用对应的JDBC驱动。然后，逐步指导了从创建源端和目标端的数据库、表到全量数据同步的步骤，最后重点讲解了如何配置和执行DataX的增量同步任务。

摘要由CSDN通过智能技术生成

1.环境准备

源端IP 192.168.56.199
源端库 testdb
源端表 t1
目标IP 192.168.56.199
目标库 testdb1
目标表 t1

2 驱动包准备

由于Mysql版本为8.0.20,需要下载相应的JDBC驱动包
驱动包为：mysql-connector-java-8.0.20.jar

3. 在源端创建库、创建表、插入数据

CREATE DATABASE testdb;
use testdb;
CREATE TABLE `t1` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(100) DEFAULT NULL,
  `deg` varchar(100) DEFAULT NULL,
  `salary` int(11) DEFAULT NULL,
  `dept` varchar(10) DEFAULT NULL,
  `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `is_delete` bigint(20) DEFAULT '1'
) ENGINE=InnoDB


insert  into `t1`(`id`,`name`,`deg`,`salary`,`dept`,`create_time`,`update_time`,`is_delete`) values (1201,'gopal','manager',50000,'TP','2018-06-17 18:54:32','2019-01-17 11:19:32',1),(1202,'manishahello','Proof reader',50000,'TPP','2018-06-15 18:54:32','2018-06-17 18:54:32',0),(1203,'khalillskjds','php dev',30000,'AC','2018-06-17 18:54:32','2019-03-14 09:18:27',1),(1204,'prasanth_xxx','php dev',30000,'AC','2018-06-17 18:54:32','2019-04-07 09:09:24',1),(1205,'kranthixxx','admin',20000,'TP','2018-06-17 18:54:32','2018-12-08 11:50:33',0),(1206,'garry','manager',50000,'TPC','2018-12-10 21:41:09','2018-12-10 21:41:09',1),(1207,'oliver','php dev',2000,'AC','2018-12-15 13:49:13','2018-12-15 13:49:13',1),(1208,'hello','phpDev',200,'TP','2018-12-16 09:41:48','2018-12-16 09:41:48',1),(1209,'ABC','HELLO',300,NULL,'2018-12-16 09:42:04','2018-12-16 09:42:24',1),(1210,'HELLO','HELLO',5800,'TP','2019-01-24 09:02:43','2019-01-24 09:02:43',1),(1211,'WORLD','TEST',8800,'AC','2019-01-24 09:03:15','2019-01-24 09:03:15',1),(1212,'sdfs','sdfsdf',8500,'AC',