DBSwitch阉割版实现异构数据库表结构同步

程序员小王java

已于 2022-05-19 18:09:02 修改

阅读量2.8k

点赞数 15

分类专栏： datax 文章标签：数据库 java mysql dbswitch

于 2022-05-17 23:38:09 首次发布

程序员小王

本文链接：https://blog.csdn.net/weixin_44385486/article/details/124832922

版权

datax 专栏收录该内容

5 篇文章 3 订阅

订阅专栏

🍅程序员小王的博客：程序员小王的博客

🍅 欢迎点赞 👍 收藏 ⭐留言 📝

🍅 如有编辑错误联系作者，如果有比较好的文章欢迎分享给我，我会取其精华去其糟粕

🍅java自学的学习路线：java自学的学习路线

一、前言

在公司使用dataX实现异构数据库离线结构同步之后，公司同步数据库数据效率大大提升，但是如果oracle数据库创建了一张test表，想同步到mysql数据库，也需要在mysql数据库中创建test表之后,才能实现数据库表结构同步，DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作，但是就是没有同步表结构的功能，然后在gitee上面，发现了一个叫做dbswitch的项目

dbswitch开源项目地址：https://gitee.com/inrgihc/dbswitch
dbswitch经过我改版之后只能实现表结构同步源码：https://gitee.com/wanghengjie563135/dbswitch_tableSynchronization.git

dbswitch实现的功能是:异构数据库迁移同步工具,dbswitch提供源端数据库向目的端数据的全量与增量迁移同步功能,其实大概功能和datax类似，只是效率和稳定性没有datax好，因为datax毕竟是阿里巴巴开源，并且也是目前国内认为开源中最好的离线数据同步工具，但是dbswitch有一个强大的功能，并且目前开源项目中我认为最完善的异构数据库表结构同步功能（我是在github,gitee上面找了几乎所有的国内表结构同步项目，最后选择了dbswitch）目前dbswitch同步的功能有：

一句话，dbswitch工具提供源端数据库向目的端数据库的批量迁移同步功能，支持数据的全量和增量方式同步。包括：

结构迁移

支持字段类型、主键信息、建表语句等的转换，并生成建表SQL语句。

支持基于正则表达式转换的表名与字段名映射转换。

数据同步。

基于JDBC的分批次读取源端数据库数据，并基于insert/copy方式将数据分批次写入目的数据库。

支持有主键表的 增量变更同步 （变化数据计算Change Data Calculate）功能(千万级以上数据量的性能尚需在生产环境验证)

而他的数据同步可以使用datax替代，但是结构迁移目前最好表结构同步方案，然后我经过了大概半个月的时间，进行修改测试整合，目前dbswitch+datax的整合已经进入尾声，在生产环境上能够实现dbswitch实现表结构同步，datax实现数据同步！

二、dbswitch阉割版（异构数据库表结构同步工具）简介

1、dbswitch阉割版之后功能

我将dbswitch修改之后，dbswitch只支持表结构同步功能，没有数据同步功能了，主要支持字段类型、主键信息、建表语句等的转换，并生成建表SQL语句。

支持基于正则表达式转换的表名与字段名映射转换。

2、功能设计

这张图是dbswitch开源作者画的，其中阉割版的dbswitch就取消了离线异构数据同步功能

3、表结构同步支持的数据库

目前常见数据库oracle,db2，mysql,sqlserver都全部支持，具体详情请参考：

源段oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为Greenplum/PostgreSQL/HighGo的迁移(支持绝大多数常规类型字段)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为Oracle的迁移(支持绝大多数常规类型字段)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为DM的迁移(支持绝大多数常规类型字段...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为SQLServer的迁移(字段类型兼容测试中...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为MySQL/MariaDB的迁移(字段类型兼容测试中...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为DB2的迁移(字段类型兼容测试中...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为Kingbase8的迁移(支持绝大多数常规类型字段...)

4、dbswitch模块结构设计

5、模块结构功能

└── dbswitch
    ├── dbswitch-common    // dbswitch通用定义模块
    ├── dbswitch-pgwriter  // PostgreSQL的二进制写入封装模块
    ├── dbswitch-dbwriter  // 数据库的通用批量Insert封装模块
    ├── dbswitch-core      // 数据库元数据抽取与建表结构语句转换模块
    ├── dbswitch-sql       // 基于calcite的DML语句转换与DDL拼接模块
    ├── dbswitch-dbcommon  // 数据库操作通用封装模块
    ├── dbswitch-dbchange  // 基于全量比对计算变更（变化量）数据模块
    ├── dbswitch-dbsynch   // 将dbchange模块计算的变更数据同步入库模块
    ├── dbswitch-data      // 工具入口模块，读取配置文件中的参数执行异构迁移同步
    ├── dbswitch-admin     // 在以上模块的基础上引入Quartz的调度服务与接口
    ├── dbswitch-admin-ui  // 基于Vue2的前段WEB交互页面
    ├── package-tool       // 基于maven-assembly-plugin插件的项目打包模块

三、dbswitch实现异构数据库表结构同步功能

我们可以将gitee仓库的dbswitch拉取到本地开发环境：https://gitee.com/inrgihc/dbswitch.git

dbswitch经过我改版之后只能实现表结构同步源码（直接使用）：https://gitee.com/wanghengjie563135/dbswitch_tableSynchronization.git

1、在dbswitch-data下找到MigrationHandler

拉取下来之后部署，修改MigrationHandler代码如下：

2、修改dbswitch-admin的配置

server:
  port: 9088

spring:
  application:
    name: dbswitch-admin
  tomcat:
    uri-encoding: UTF-8
    max-http-header-size: 8096
  mvc:
    throw-exception-if-no-handler-found: true
    static-path-pattern: /statics/dbswitch/**
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/dbswitch?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC
    username: root
    password: root
    validation-query: SELECT 1
    test-on-borrow: true
  flyway:
    locations: classpath:db/migration
    baseline-on-migrate: true
    table: DBSWITCH_SCHEMA_HISTORY
    enabled: true

mybatis:
  configuration:
    lazy-loading-enabled: true
    aggressive-lazy-loading: false
    map-underscore-to-camel-case: true
    #log-impl: org.apache.ibatis.logging.stdout.StdOutImpl

mapper:
  wrap-keyword: "`{0}`"
  enable-method-annotation: true

注意：我使用的是mysql8所以还得修改maven

<dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>8.0.22</version>
      <scope>runtime</scope>
    </dependency>

3、如果想实现Oracle相关表结构同步需要添加依赖

在dbswitch-core的maven里面添加依赖，不然最初始的项目不支持oracle，会报错：

<dependency>
      <groupId>cn.easyproject</groupId>
      <artifactId>orai18n</artifactId>
      <version>12.1.0.2.0</version>
    </dependency>

这样之后启动项目，启动项目之前需要在数据库中创建dbswitch数据库，dbswitch可以实现自动导入表，所以只需要创建数据库就可以了，创建数据库的语句：

drop database if exists `dbswitch`;
#创建dbswitch数据库
create database `dbswitch` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

阉割版的dbswitch就可以实现了，启动项目，项目访问地址：http://127.0.0.1:9088/[3]

账户：admin密码:123456

4、dbswitch添加账户密码

dbswitch本身没有添加账户的功能，如果登录只能admin/123456进行登入，如果想添加账户，需要数据库管理员（DBA）添加

我们可以看到dbswitch的用户密码是加了盐的

我们想要添加账户时需要给密码加盐，java实现dbswitch的密码

导入maven

 <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.7.5</version>
 </dependency>

java,输入密码自动实现加密

package com.tjcu;

import cn.hutool.crypto.digest.BCrypt;
public class PasswordUtils {

    public static void main(String[] args) {
        String password = "whj1234";
        String credentialsSalt = "$2a$10$eUanVjvzV27BBxAb4zuBCu";
        String newPassword = encryptPassword(password, credentialsSalt);
        System.out.println(newPassword);
        System.out.println(credentialsSalt);
    }

    public static String encryptPassword(String password, String credentialsSalt) {
        return BCrypt.hashpw(password, credentialsSalt);
    }


}

在dbswitch 添加账号sql语句

# dbswitch 添加账号sql语句
INSERT INTO `dbswitch_system_user` VALUES (2, 'whj', 
'$2a$10$eUanVjvzV27BBxAb4zuBCuK/4evNmPiFwA.XvSOd6Efpw.hQZbST.', 
'$2a$10$eUanVjvzV27BBxAb4zuBCu', 'whj', '123@qq.com', '', 0, NOW(), NOW());

这样之后我们阉割版的dbswitch就全部完成了

四、dbswitch实现nginx配置

dbswitch全部完成了,但是项目需要放在生产环境上，需要使用nginx进行转发，如果我们之间转发

http://127.0.0.1:9088/[4]这个连接的话，影响nginx使用，占用太多的资源了，所以为了节约nginx资源，我们需要在端口号后面增加dbswitch,http://127.0.0.1:9088/[5]dbswitch访问

1、修改dbswtch的前端vue项目

这是dbswitch的前端代码，

但是我修改前端代码实出现这个报错，而我对vue就会皮毛，改也不会改，然后我就自己通过idea手动修改了打包后的静态资源

我将所有的静态资源的static改为dbswitch,如index.html

修改后的静态资源我放在了gitee上面了，如果自己不想修改的可以参考我的：https://gitee.com/programmer-wanghengjie/dbswitchTable-synchronization.git

2、修改WebMvcConfig

@Configuration
public class WebMvcConfig implements WebMvcConfigurer {

  @Override
  public void addResourceHandlers(ResourceHandlerRegistry registry) {
    // 访问http://localhost:8080/index.html 都会跳转到classpath:/index.html下去找，即resources/index.html
    registry.addResourceHandler("/index.html").addResourceLocations("classpath:/index.html");
    registry.addResourceHandler("/favicon.ico").addResourceLocations("classpath:/favicon.ico");
    // 访问http://localhost:8080/static/*** 都会跳转到classpath:/static/下去找，即resources/static/
    registry.addResourceHandler("/dbswitch/**").addResourceLocations("classpath:/dbswitch/");
  }

  @Override
  public void addViewControllers(ViewControllerRegistry registry) {
    registry.addViewController("/dbswitch").setViewName("forward:index.html");
  }

}

3、修改application.yml

 static-path-pattern: /statics/dbswitch/**

然后启动项目之后访问地址：http://127.0.0.1:9088/dbswitch#/login

4、然后部署在开发环境上面配置nginx

我们一般在一台机器上部署项目，部署项目步骤

本工具纯Java语言开发，代码中的依赖全部来自于开源项目。

（1）编译打包

环境要求:

JDK:>=1.8 （建议用JDK 1.8）

maven:>=3.6

Maven 仓库默认在国外，国内使用难免很慢，可以更换为阿里云的仓库。参考教程：配置阿里云的仓库教程[8]

(2) Linux下编译：

#最好上传自己修改后的版本
git clone https://gitee.com/inrgihc/dbswitch.git
cd dbswitch/
sh ./build.sh

（3）当编译打包命令执行完成后，会在dbswitch/target/目录下生成dbswitch-relase-x.x.x.tar.gz的打包文件，将文件拷贝到已安装JRE的部署机器上解压即可。

tar -zxvf dbswitch-release-1.6.9.tar.gz

在dbswitch-release-1.6.9的bin中启动项目

./startup.sh

5、在nginx中配置

location ~ ^/dbswitch{
            proxy_pass  http://ip:9088;
        }

然后启动项目，我在我的虚拟机上面配置的nginx，访问项目，正常访问

五、阉割版的DBSwitch使用帮助手册

1、DBSwitch登录

开发环境登录地址：http://ip:9088/dbswitch

输入网址后进入DBSwitch系统登录页，须填写用户名和密码。

用户名：

密码：

2、核心功能

（1）数据源连接管理

见左侧“连接管理”🡪“添加”

点击“添加之后”：

可以选择数据库名称，选择数据库类型，jdbc连接串和账户密码；

添加成功后示意图：

测试是否连接成功

（2）任务管理

见左侧“任务管理栏”🡪“任务安排”🡪“添加”

完成基本信息配置，点击下一步

完成源数据库配置：点击下一步

完成目标数据库配置：点击下一步

同步表的关系映射，如果表名映射和字段名映射为空时，表示

如果目标表需要改名，点击添加表映射

添加成功后点击预览表名映射看是否改名成功（必须操作）

注意：这个查看表名映射关系的操作必须操作，有时候大家感觉自己添加映射之后没什么问题，但是有时候添加表名的时候是复制粘贴的，系统没识别，不查看表名关系映射直接操作下一步的话，可能会出现表名修改失败，导致同步的数据库表名和源端表名一样，需要走OA删除建的表导致时间浪费过长

如果字段名需要修改，点击添加字段名映射

同样的步骤也要预览字段名

点击下一步之后，点击提交

点击发布也可以点击更多修改配置，但是一旦发布就不能再修改

点击执行同步表结构就开始了！

见左侧“任务管理栏”——》“调度记录”“任务安排列表”

点击刚才任务中取的名字，查看任务日志

如果同步成功以后，可以点击

见左侧“数据目录栏”——》“数据源导航树”——》“查看自己同步目标库的目标表”

查看目标表的建表和赋权限的sql语句是否正确

注意：重点查看是否赋权限

点击字段信息，查看同步后目标表的字段是否正确

点击取样数据主要是查看表中的数据，同步表之后数据为空，如果需要实现同步数据，请使用datax实现，使用datax同步数据之后可以使用dbswitch查看数据是否同步成功

dbswitch经过我改版之后只能实现表结构同步源码直接使用：https://gitee.com/wanghengjie563135/dbswitch_tableSynchronization.git

程序员小王java

关注

15
点赞
踩
23

收藏

觉得还不错? 一键收藏
打赏
11
评论
DBSwitch阉割版实现异构数据库表结构同步

dbswitch国内异构数据库表结构同步最好的工具！
复制链接

扫一扫

专栏目录