DBMotion x Chat2DB：高效迁移，优雅同步，数据腾飞不再愁

已于 2024-07-25 19:00:34 修改
阅读量257 收藏 14
点赞数 9
文章标签： mysql 数据库
于 2024-07-25 16:39:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74199893/article/details/140692060
版权

在这里插入图片描述

DBMotion

在这里插入图片描述

基本介绍

数据传输服务DBMotion是一款轻量、绿色的数据库迁移、同步、校验工具。支持国产化数据迁移、支持容灾演练、支持两地三中心和异地多活；源库无感知、简单易集成、丝滑高性能。助您在多云之间随心迁移、自由容灾。

功能介绍

已支持的数据库

v1.0.0 DBMotion插件 支持 MySQL to MySQL的对象迁移、全量数据迁移、增量同步；目前支持 5.6、5.7、8.0 三个版本的同版本迁移或向高版本迁移。

待支持的数据库

下面是已经实现支持，待集成进DBMotion插件的数据库类型

PostgreSQL to PostgreSQL 的对象迁移， 全量数据迁移，增量同步（暂不支持DDL和双向同步)。 目前支持 9.6 以上版本的同版本迁移或向高版本迁移。

MySQL to Clickhouse 的对象迁移、全量数据迁移、增量同步；支持 MySQL 5.6、5.7、8.0 到 Clickhouse 22 以后的版本。

MongoDB to MongoDB 的对象迁移、全量数据迁移、增量同步；目前支持 MongoDB 3.6 以上版本的同版本迁移或向高版本迁移。

openGauss to openGauss 的对象迁移、全量数据迁移、增量同步；支持 5.0.0 以上版本的单向和双向同步。

GaussDB to GaussDB 的对象迁移、全量数据迁移、增量同步；支持 503.1 以上版本的同版本迁移或向高版本迁移。

Oracle to GaussDB 的全量数据迁移和增量同步。

SQL Server to SQL Server 的对象迁移、全量数据迁移；目前支持 2017/2019 同版本的相互迁移。

Redis to Redis 的全量数据迁移和增量同步；目前支持 5.0 及以上版本的同版本迁移或向高版本迁移。

MySQL to Kafka 的全量数据迁移。

PostgreSQL/GaussDB/openGauss to Kafka 的全量数据迁移，增量订阅。

应用场景

一、机房内、云上云下数据库迁移

DBMotion支持Docker线下版和云上版本，用户可以下载线下版本在自己机房内做数据库迁移操作。 也可以直接使用云上的SAAS版来进行云上迁移或者跨云迁移，支持云上迁移到云下，云下迁移到云上，支持对RDS的到ECS或者线下机房的容灾同步。

二、国产化数据库迁移

通过可视化透明迁移工具将非国产数据库迁移到国产数据库，海外云迁移到国产云。 支持表、索引等结构也支持存储过程、自定义函数等代码的转换；通过内置专家经验和最佳实践保证业务高效、透明、安全的进行全量和增量同步数据，可实现零停机迁移；支持对象和数据的校验，兜底数据一致性；支持反向同步，随时可回滚。

三、异地多活数据同步

支持MySQL和openGauss的双向同步，有效的避免循环复制，支持覆盖、忽略和报错三种冲突解决策略。支持两地三中心/异地多活架构，支持容灾演练。

优势特点

  • 零停机：整个迁移过程中不需要业务停机，对源库不加任何锁。源库在迁移过程中可以做各种DDL操作

  • 方便直观：采用可视化操作，点点鼠标就可以完成数据的迁移和校验

  • 并发高性能：对象、全量、增量、校验过程全部采用多线程并发，同步性能能到达40M/s

  • 安全高效：支持SSL连接，保证传输数据安全

  • 稳定可靠：支持断点续传，源端断开自动重连，目标端失败自动重试

  • 预检查：正式迁移前提前预检查，预先发现迁移过程中可能出现的问题

  • 数据校验：迁移后支持数据校验，为数据切换保驾护航

  • 双向同步：主动避免循环复制，支持冲突策略处理

  • 对象映射/where条件过滤：支持源库和目标库的对象名映射，支持同步时忽略部分敏感数据

  • 热修改：同步过程中支持热修改同步对象

  • 跨网络访问：通过代理网关可以访问内网或者云上RDS

资费

DBMotion插件对Chat2DB Pro会员限时免费使用。

使用限制

1. 带宽限制

源库到DBMotion和DBMotion到目标库的网络带宽会限制迁移的速度。如果任何一端的网络带宽较差都会导致迁移性能下降，达不到规格标称的迁移速度。

2. 数据库性能限制

源库或者目标库的性能会导致DBMotion迁移性能的下降。源库性能差会导致DBMotion取数据慢，目标库性能差会导致DBMotion存数据慢。

3. MySQL binlog格式问题

binlog需要使用ROW格式，来保证DBMotion能正确解析出数据的修改，以便增量同步到目标端 DDL变更时，建议使用use db1;alter table tb1类似的方式，而不是使用alter table db2.tb1的方式，避免DBMotion误判数据库导致判断这个变更是否要过滤时出错。

4. 源库对象选择无法区分全选一个节点还是全选当前所有子节点

界面上选择一个schema下所有表时，无法区分是勾选了界面上显示的所有表，还是勾选了整个schema。目前按照勾选整个schema来同步，也就是说，这个schema下当前所有的表和后面创建的表全部都会同步到目标端。

5. 对象依赖层数过多仍然会报错

DBMotion目前会处理对象依赖层数在10层以内的。也就是说view v10依赖于v9，v9依赖于v8，… v2依赖于v1的情况，DBMotion会自动处理，但是大于10层的依赖可能会报错。

6. 对象迁移到全量迁移过程中创建的表无法同步

用户选择了迁移整个schema(db1)，但是在对象迁移到全量迁移的这段时间间隔内创建了一个表db1.tb1。由于对象迁移的时候db1.tb1还没有，对象迁移不会把db1.tb1的表结构迁移过去，所以全量迁移的时候会报错说表结构不存在。

7. 其他
Illegal mix of collations (utf8mb4_general_ci,IMPLICIT) and (utf8mb4_0900_ai_ci,IMPLICIT) for operation '=' MySQL 8.0默认使用utf8mb4_0900_ai_ci的Collation作为utf8mb4的校对规则，跟5.6和5.7的utf8mb4_general_ci默认值不一样，如果有view使用convert(tt.ID using utf8mb4 )可能会出现对象迁移时迁移到目标端报错，Illegal mix of collations，建议手工在目标库将view改成convert(tt.ID using utf8mb4 ) COLLATE utf8mb4_general_ci以绕过这个问题。

操作指南

1. 插件安装

打开Chat2DB，点击左侧工具栏的插件图标，点击右侧的Installing插件按钮，点击安装即可。

在这里插入图片描述

2. 打开插件

点击Launch打开插件，等待插件加载完成即可。

在这里插入图片描述

3. 创建任务

在这里插入图片描述

  1. 在Name字段中输入任务的名称。例如，task-01qu6D。
  2. 根据需要选择虚拟机的规格。选项包括：Tiny，Small，Medium，Large。默认选择的是Tiny。
  • 每个规格的说明：
  • Tiny：最小规格，使用2核4G内存，1线程用于迁移。
  • Small、Medium和Large规格根据需求增加资源。
  1. 源数据库引擎 (Source database engine)
  • 选择源数据库引擎类型。在此例中，选择的是MySQL。
  • 支持的版本包括：5.6、5.7、8.0。
  • 支持的数据库类型包括：自建数据库、ECS自建数据库和云数据库。
  1. 目标数据库引擎 (Target database engine)
  • 选择目标数据库引擎类型。在此例中，选择的是MySQL。
  • 支持的版本包括：5.6、5.7、8.0。
  • 支持的数据库类型包括：自建数据库、ECS自建数据库和云数据库。

在这里插入图片描述

在填写完所有必要的信息后，点击页面右下角的Create按钮，即可创建新任务。

在这里插入图片描述

4. 选择源和目标数据库
  1. 数据库类型：
  • 在Source information（源信息）部分选择你的原始数据库类型。在这个例子中，我们选择了"MySQL"。
  • 同样，在Target information（目标信息）部分选择你想要将数据迁移到的目标数据库类型。同样，这里也选择了"MySQL"。
  1. 数据库IP:端口：
  • 在Source information部分输入你的原始数据库的IP地址和端口号。
  • 对于Target information部分，你需要提供目标数据库的IP地址和端口号。
  1. 账户与密码：
  • Source information部分需要你提供访问原始数据库的用户名和密码。用户名默认是root。
  • Target information部分则需要你提供用于访问目标数据库的用户名和密码。
  • 如果你不知道用户名，可以点击下方Auth script操作，获取授权用户。
  1. SSL运输：
  • 如果你的数据库配置了SSL加密连接，则可以选择启用SSL传输。否则，请保持禁用状态。
  1. 测试连接：
  • 输入所有必要的信息后，你可以点击Test connection来验证你提供的信息是否正确，并且能够成功地连接到你的数据库。

在这里插入图片描述

5. 迁移选项
  1. Objects:
  • 这一区域将会列出一系列的数据库名称。你可以通过勾选这些项目来决定哪些数据库表、视图、函数、存储过程、触发器等应该被包含在迁移过程中。

在这里插入图片描述

  1. Migration:

Speed: 这里提供了迁移速度的选择，默认为Unlimited，即不限速。如果需要限制迁移的速度，可以在此处更改。

  • Migrate type: 提供了三种选项——Objects, Data, 和 Sync incremental。根据需求，你可以选择要迁移的对象定义、数据或者增量同步。
  • Objects: 表示迁移数据库中的对象，比如表、视图等。
  • Data: 表示迁移数据库中的数据。
  • Sync incremental: 表示进行增量同步，只迁移自上次迁移以来发生改变的内容。

Sync policy: 这一部分允许你指定同步策略。

  • Sync topology: 可以选择单向或双向同步。
  • unidirectional: 单向同步，数据只会从源数据库流向目标数据库。
  • Bidirectional: 双向同步，数据可以在两个数据库之间相互流动。
  • Conflict policy: 当冲突出现时的处理方式。
  • Cover and continue: 覆盖已有数据并继续迁移。
  • Ignore and continue: 忽略冲突并继续迁移。
  • Report an error and stop: 报错并停止迁移。
  • Filter DDL: 是否过滤掉数据定义语言（DDL）语句。DDL通常用来创建、修改或删除数据库结构。
  1. Upload migrate object configuration file / Download template file:
  • 如果你已经准备好了迁移对象的配置文件，可以通过点击"Upload migrate object configuration file"上传它。
  • 如果需要下载模板文件以便手动编辑，可以点击"Download template file"。

在这里插入图片描述

  1. Advanced configuration:
  • 点击此链接可以进入更详细的配置页面，对迁移任务进行高级定制。

在这里插入图片描述
在这里插入图片描述

  1. 确认信息:
  • 填写完所有必要的信息后，你可以点击Next前进至下一步。

在执行数据库迁移前，确保已仔细检查所有的选项，特别是冲突政策和同步策略，因为它们可能会直接影响到迁移的结果。

6. 映射和过滤

在这里插入图片描述

  • 字段映射是指将一个表中的字段映射到另一个表中的字段，以便在两个表之间进行数据交换或数据同步。
    在MySQL数据库迁移任务配置过程中，用户可以设置库、表、字段在目标库的对象映射名。
    如下图所示，【文字显示墨绿色，加了-sy后缀】的为修改后目标端Schema、表、字段的映射名显示。

注意：修改后的映射名请以英文字母开头，仅允许英文字母（区分大小写）、数字、下划线组合，长度小于等于64

在这里插入图片描述

在这里插入图片描述

迁移完成后，我们进入目标库查看，可以看到库，表，字段均显示为迁移过程中我们设置的映射名。

在这里插入图片描述

  • 在数据迁移或数据复制中，where可以用来过滤出需要迁移或复制的数据，避免不必要的数据传输和处理，提高迁移或复制效率。
    如下图，在MySQL数据库迁移任务配置过程中，点击映射与过滤，支持自由配置数据过滤条件，在文本框输入过滤条件后，移出文本框，在过滤结果预览中就可以查看到过滤效果，以便用户确认是否满足预期。

在这里插入图片描述

设置好表的过滤条件后，在全量和增量同步过程中就会自动带上过滤条件。保证过滤后的数据才会同步到目标端。
此处我们设置的where过滤条件为：CategoryId > 7，过滤结果如下。

  • 源端数据展示：

在这里插入图片描述

  • 目标端数据展示：

在这里插入图片描述

目标库只同步到了CategoryId > 7的数据，符合目标预期。

7. 最后确认

  • 目标数据库中存在相同名字的对象将会被重建，所以在迁移前请仔细检查目标数据库以避免覆盖和损坏数据。建议在非高峰时段进行数据迁移，以减少数据更新和DDL变更的影响。

  • 在确认阶段，用户需要查看提示信息，理解潜在的问题和风险，如数据库版本不一致可能导致的迁移失败。
    同时，他们也可以查看预检查结果，如果有错误或警告，应解决这些问题后再执行迁移。如果一切正常，用户可以点击Save task and execute来保存并执行迁移任务或者点击Save task来暂时保存相关配置信息。

在这里插入图片描述

8. 迁移结果
  • 迁移完成时，用户可以查看迁移结果，包括迁移的进度、状态、错误信息等。

在这里插入图片描述

在这里插入图片描述

玦尘、
关注
  • 9
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Text 2 SQL案例 - Chat2DB 体验有感
甘蓝的专栏
08-14 651
最近阿里巴巴开源了Chat2DB这样一款开源、集成AI的数据库客户端，我也来体验一把。
Chat2DB数据分析AI工具开源
07-19
Chat2DB是一款集成人工智能生成能力的数据分析工具，它开源且免费，支持多种操作系统，包括Windows和mac，并且可部署在服务器上，通过Web界面访问。相较于传统的数据库客户端如Navicat和DBeaver，Chat2DB的独特之处...
LLMs之Text2Sql之Chat2DB：Chat2DB(AI驱动的数据开发和分析平台)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-14 1612
​ LLMs之Text2Sql之Chat2DB：Chat2DB(AI驱动的数据开发和分析平台)的简介、安装和使用方法、案例应用之详细攻略 目录 Chat2DB的简介 Chat2DB的安装和使用方法 Chat2DB的案例应用 Chat2DB的简介 2023年7月，在GitHub平台正式发布Chat2DB！Chat2DB 是一款AI first的数据管理、开发、分析工具，它的核心是AIGC（Artificial Intelligence Generation Cod
Chat2DB：AI赋能的多数据库客户端工具，开源领航未来数据库管理
奇遇少年
01-21 1316
Chat2DB：开辟数据库管理的智能新纪元
阿里巴巴开源Chat2DB v1.0.11 初体验
热门推荐
傲泣龙腾的博客
06-16 1万+
作为一名阿里巴巴开源项目的拥护者，从Chat2DB开源至今都有关注这个开源项目，因为之前的版本还存在较多BUG，暂时就没有分享，目前升级到 v1.0.11 版本后，我来谈谈我个人的一个使用感受Chat2DB 是一款有开源免费的多数据库客户端工具，支持windows、mac本地安装，也支持服务器端部署，web网页访问。
Chat2DB 智能数据库客户端，数据报表工具，自然语言生成SQL，生成报表
06-14
JAVA解析Excel工具；Java解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题，但POI还是有一些缺陷，比如...
Chat2DB安装包.zip.zip
08-29
Chat2DB安装包.zip.zip
fake2db：创建使用假数据填充的自定义测试数据库
02-04
关于使用大多数流行的模式（AFAIK）生成伪造但有效的数据填充数据库以用于测试。 当前支持sqlite，mysql，postgresql，mongodb，redis，couchdb 。安装通过pypi安装会获取“ fake-factory”作为主要依赖项。 pip ...
数据库管理工具Chat2DB
10-20
聊天式查询数据库
MySQL：SELECT 语句
Zachyy的博客
07-20 398
在 MySQL 中，可以使用 SELECT语句来查询数据。查询数据是指从数据库中根据需求，使用不同的查询方式来获取不同的数据，是使用频率最高、最重要的操作。
测试开发面试题---MySQL
m0_53302824的博客
07-22 943
索引是数据库管理系统中用于提高数据检索速度的数据结构，它可以帮助快速定位数据不需要扫描全表。提高查询速度；唯一性约束，确保数据不会重复；辅助排序和分组；减少磁盘IO。
mysql中ONLY_FULL_GROUP_BY报错
zzzzzucc的博客
07-21 308
禁用会话级别的 ONLY_FULL_GROUP_BY SET SESSION sql_mode = ‘’;– 或者禁用全局级别的 ONLY_FULL_GROUP_BY SET GLOBAL sql_mode = ‘’;在 MySQL 中，sql_mode是一个服务器变量，用于定义 SQL 语句的运行模式。是sql_mode中的一个选项，它影响 SQL 查询中GROUP BY子句的行为。
【MySQL】根据binlog日志获取回滚sql的一个开发思路
weixin_45385457的博客
07-19 509
不同客户端之间会交替追加在 binlog 中，需要通过 👆的 binlog 匹配流程来控制匹配。行，需要再次寻找 thread_id 相同的行，匹配到后执行上一个流程。在 binlog 中的线程 ID 记录为 thread_id。一个线程执行多个 sql 回滚到同一个文件可能带来的问题。对应 binlog 日志中的 thread_id=指定 mysql 客户端 开始时间和结束时间。打开 mysql 客户端 开始时间。关闭 mysql 客户端 结束时间。先匹配 thread_id 相同的。
MySQL中的CREATE EVENT 语句详解
最新发布
u011565038的博客
07-24 429
CREATE EVENT语句在 MySQL 中用于创建一个事件调度器（Event Scheduler）的事件。事件调度器允许你安排数据库任务（如查询、数据更新等）在将来的某个时间点自动执行，或者根据特定的时间间隔重复执行。这对于需要定期执行的任务特别有用，比如数据清理、报表生成等。
Windows版MySQL5.7解压直用（如何卸载更换位置重新安装）
xzzteach的博客
07-21 305
【代码】Windows版MySQL5.7解压直用（如何卸载更换位置重新安装）
Mysql (五)
qq_64410777的博客
07-23 465
以左边的表为基础，接收左表的所有行，以左表的记录与右表的记录进行匹配，匹配左表的所有，以及右表中符合条件的行，不符合的显示null值。表和列的别名 在实际工作中，表和列名可能很长，写起来不方便，如果需要多次声明表和列时，全部展示太复杂，设置别名使书写简化。这里只是判断，结果为空 则不执行 ，如果不为空则执行前面的 结果是7 只要不为空就是7 执行的是count(*)SELECT i.name 姓名,i.score 成绩 from info as i;
MYSQL2
2301_76692168的博客
07-20 645
1.建库以及建表：mysql> create database mydb8_woker;mysql> use mydb8_woker;mysql> create table t_worker( -> department_id int(11) not null comment '部门号', -> worker_id int(11) primary key not null comment '职工号', -> worker_date date not null comment '工作时
Mysql - 索引
m0_69594200的博客
07-23 822
存储引擎、SQL优化工具、SQL优化，索引的分类、语法和使用规则等【笔记】内容
chat2db 使用教程
07-08
Chat2DB 是一个基于 Python 编写的数据库，它的使用非常简单。以下是 Chat2DB 的使用教程： 1. 安装 Chat2DB Chat2DB 可以通过 pip 安装，打开命令行或终端，输入以下命令即可安装： ``` pip install chat2db ``` 2. 创建数据库 使用以下代码可以创建一个名为 `mydb` 的数据库： ```python from chat2db import Chat2DB db = Chat2DB("mydb") ``` 3. 创建表 使用以下代码可以在 `mydb` 数据库中创建一个名为 `users` 的表： ```python db.create_table("users", ["id", "name", "age"]) ``` 这里我们定义了三个列，分别是 `id`、`name` 和 `age`。 4. 插入数据 使用以下代码可以向 `users` 表中插入一条数据： ```python db.insert("users", {"id": 1, "name": "Tom", "age": 20}) ``` 5. 查询数据 使用以下代码可以从 `users` 表中查询所有数据： ```python result = db.select("users") print(result) ``` 使用以下代码可以从 `users` 表中查询年龄大于 18 岁的用户： ```python result = db.select("users", "age > 18") print(result) ``` 6. 更新数据 使用以下代码可以更新 `users` 表中 id 为 1 的用户的姓名和年龄： ```python db.update("users", {"name": "Jerry", "age": 25}, "id = 1") ``` 7. 删除数据 使用以下代码可以删除 `users` 表中 id 为 1 的用户： ```python db.delete("users", "id = 1") ``` 以上就是 Chat2DB 的使用教程，更多使用细节和 API 请参考官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值