迁移 MySQL 数据到 OceanBase 集群（使用mysqldump、datax等工具）

已于 2022-02-16 23:33:54 修改
阅读量1.5k 收藏 2
点赞数
文章标签： mysql 数据库 database dba
于 2022-02-16 23:19:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gdrs206/article/details/122962443
版权

通过本实验，可以掌握从 MySQL 向 OceanBase 迁移数据的基本方法：mysqldump、datax 、canal 等。

1、相关准备工作

1.1 数据库环境

1套MySQL数据库，本次使用mysql5.7.36，部署在虚拟机（OS：CentOS7.9）
1套OceanBase集群，本次使用的是三副本集群，部署方式参考：https://blog.csdn.net/gdrs206/article/details/122933818

1.2 准备测试数据

## 使用tpcc-mysql生成测试数据
## 安装tpcc-mysql
ln -s /mysql/app/mysql/lib/libmysqlclient.so.20.3.23 /usr/local/lib/libmysqlclient.so.20

unzip -q /soft/tpcc-mysql-master.zip -d /mysql/app/
cd /mysql/app/tpcc-mysql-master/src
make

## 创建测试库，导入tpcc建表脚本
## 当前测试库为MySQL 5.7.36
mysql -uroot -p -h192.168.79.190 -P3308
create database oadb;
use oadb;
source /mysql/app/tpcc-mysql-master/create_table.sql;

## 导入测试数据
/mysql/app/tpcc-mysql-master/tpcc_load -uroot -proot -h192.168.79.190 -P3308 -d oadb -w 1

## 查看数据表的相关记录情况
SELECT TABLE_NAME,DATA_LENGTH,INDEX_LENGTH,(DATA_LENGTH+INDEX_LENGTH) as length,TABLE_ROWS,concat(round((DATA_LENGTH+INDEX_LENGTH)/1024/1024,2), 'MB') as total_size FROM information_schema.TABLES WHERE TABLE_SCHEMA='oadb' order by length desc;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、使用mysqldump 将 mysql的表结构和数据同步到 OceanBase 的MySQL 租户中

2.1 MySQL源端导出数据

## 导出表结构
mysqldump -h192.168.79.190 -uroot -p -P3308 -d oadb --compact > /mysql/backup/oadb_ddl.sql

### 检查文件中是否存在特殊语法、变量等
grep -Ei "SQL_NOTES|DEFINER|MAX_ROWS" /mysql/backup/oadb_ddl.sql

## 导出表数据
mysqldump -h192.168.79.190 -uroot -p -P3308 --single-transaction -t oadb --compact > /mysql/backup/oadb_data.sql

在这里插入图片描述

2.2 导入数据到OceanBase

## 先建一个数据库oadb
obclient -h192.168.79.200 -uroot@myoadb#myob -P2883 -p -c -A
create database oadb;

## 导入表结构
use oadb;
source /mysql/backup/oadb_ddl.sql

### 导入表数据前先禁用外键检查约束
show global variables like '%foreign%';
set global foreign_key_checks=off;
show global variables like '%foreign%';

### 退出重新登陆，再进行导数
use oadb;
source /mysql/backup/oadb_data.sql

在这里插入图片描述
在这里插入图片描述

3、使用 datax 配置至少一个表的 MySQL 到 OceanBase 的 MySQL 租户的离线同步

3.1 安装配置datax

安装参考datax文档：
https://github.com/alibaba/DataX/blob/master/userGuid.md

## 下载安装包：
离线上传，或者：
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

tar -zxf /soft/datax.tar.gz -C /mysql/app/
cd /mysql/app/

## 删除datax中的隐藏文件
find /mysql/app/datax/plugin -name ".*" | xargs rm -f

## 如无Python则先安装
yum install -y python java

在这里插入图片描述

3.2 创建和调整作业的配置文件


## 生成模板文件
python /mysql/app/datax/bin/datax.py -r mysqlreader -w oceanbasev10writer > /mysql/app/datax/job/mysql2ob.json

## 根据实际情况调整模板文件
vi /mysql/app/datax/job/mysql2ob.json

{    
"job": {
        "setting": {
            "speed": {
                "channel": 2,
            },
            "errorLimit": {
                "record": 10
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "root",
                        "splitPk": "c_id",
                        "column": ["*"],
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://192.168.79.190:3308/oadb"
                                ],
                                "table": [
                                    "customer"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "oceanbasev10writer",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "root",
                        "writerThreadCount": 5,
                        "column": [
                            "*"
                        ],
                        "connection": [
                           {
                                "jdbcUrl": "||_dsc_ob10_dsc_||myob:myoadb||_dsc_ob10_dsc_||jdbc:oceanbase://192.168.79.200:2883/oadb?useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "customer"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

## 启动同步作业
## obclient -h192.168.79.200 -uroot@myoadb#myob -P2883 -p -c -A
## truncate oadb.customer;
python /mysql/app/datax/bin/datax.py /mysql/app/datax/job/mysql2ob.json

## 检查同步情况 
select count(*) from oadb.customer;
select * from oadb.customer limit 1;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、使用 datax 配置至少一个表的 OceanBase 到 CSV 以及 CSV 到 OceanBase 的离线同步

4.1 OceanBase to CSV

## 生成模板文件
python /mysql/app/datax/bin/datax.py -r mysqlreader -w oceanbasev10writer > /mysql/app/datax/job/ob2csv.json

## 调整模板文件
vi /mysql/app/datax/job/ob2csv.json
{
   "job": {
       "setting": {
           "speed": {
               "channel": 8
           },
           "errorLimit": {
               "record": 0,
               "percentage": 0.1
           }
       },
       "content": [
           {
               "reader": {
                   "name": "oceanbasev10reader",
                   "parameter": {
				       "timeout":10000,
                       "readBatchSize":10000,
                       "readByPartition":"true",
                       "column": ["*"],
                       "connection": [
                           {
                               "jdbcUrl": ["||_dsc_ob10_dsc_||myob:myoadb||_dsc_ob10_dsc_||jdbc:oceanbase://192.168.79.200:2883/oadb?useUnicode=true&characterEncoding=utf-8"],
                                "table": ["orders"]
                           }
                       ],
                       "password": "root",
                       "username": "root",
                       "where": ""
                   }
               },
               "writer": {
                    "name": "txtfilewriter",
                    "parameter": {
                       "path": "/mysql/backup/datax",
                       "fileName": "orders",
                       "encoding": "UTF-8",
                       "writeMode": "truncate",
                       "dateFormat": "yyyy-MM-dd hh:mm:ss" ,
                       "nullFormat": "\\N" ,
                       "fileFormat": "csv" ,
                       "fieldDelimiter": ","
                    }
               }
           }
       ]
   }
}

## 启动同步作业
python /mysql/app/datax/bin/datax.py /mysql/app/datax/job/ob2csv.json

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2 CSV to OceanBase

## 生成模板文件
python /mysql/app/datax/bin/datax.py -r mysqlreader -w oceanbasev10writer > /mysql/app/datax/job/csv2ob.json

## 调整模板文件
vi /mysql/app/datax/job/csv2ob.json
{
   "job": {
       "setting": {
           "speed": {
               "channel": 8
           },
           "errorLimit": {
               "record": 0,
               "percentage": 0.1
           }
       },
       "content": [
           {
               "reader": {
                   "name": "txtfilereader",
                   "parameter": {
                       "path": ["/mysql/backup/datax"],
                       "fileName": "orders",
                       "encoding": "UTF-8",
                       "column": ["*"],
                       "dateFormat": "yyyy-MM-dd hh:mm:ss" ,
                       "nullFormat": "\\N" ,
                       "fieldDelimiter": ","
                   }
               },
               "writer": {
                   "name": "oceanbasev10writer",
                   "parameter": {
                       "obWriteMode": "insert",
                       "column": ["*"],
                       "preSql": [
                           "truncate table orders"
                       ],
                       "connection": [
                           {
                               "jdbcUrl": "||_dsc_ob10_dsc_||myob:myoadb||_dsc_ob10_dsc_||jdbc:oceanbase://192.168.79.200:2883/oadb?useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                   "orders"
                               ]
                           }
                       ],
                       "username": "root",
                       "password": "root",
                       "writerThreadCount": 10,
                       "batchSize": 1000,
                       "memstoreThreshold": "0.9"
                   }
               }
           }
       ]
   }
}

## 启动同步作业
python /mysql/app/datax/bin/datax.py /mysql/app/datax/job/csv2ob.json

## 检查同步情况
obclient -h192.168.79.200 -uroot@myoadb#myob -P2883 -p -c -A -e "select count(*) from oadb.orders;select * from oadb.orders limit 1;"

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
相关连接：
https://open.oceanbase.com/answer/detail?id=20400030

转角遇到癫古
关注
OceanBase 分布式数据库【信创/国产化】- OceanBase 平台产品 - 迁移评估工具 OMA
简简单单Onlinezuozuo
05-04 688
OceanBase 数据库（OceanBase Database）是一款完全自研的企业级原生分布式数据库，在普通硬件上实现金融级高可用，首创“三地五中心”城市级故障自动无损容灾新标准，刷新 TPC-C 标准测试，单集群规模超过 1500 节点，具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性。OceanBase 是蚂蚁集团开发2010 年研发完成，2020 年蚂蚁成立全资公司“北京奥星贝斯科技有限公司”独立运营OceanBase 特性原生分布式架构金融级高可用透明水平扩展。
数据库迁移工具（My SQL →SQL Server）
02-15
此工具可以将My SQL 数据库迁移至 SQL server （迁移项目包括表及表中数据），需要注意的是此工具不支持迁移视图。需要在SQL Server 中重新手动创建视图
MySQL数据迁移工具
Valley的专栏
11-29 1万+
MySQL Migration Toolkit MySQL Migration Toolkit 是MySQL提供的开源GUI软件工具。可以针对Microsoft Access、Microsoft SQL Server、Oracle、MySQL、Sybase Server、MaxDB Database Server数据库向MySQL数据库迁移数据，内部机制使用JDBC连接数据库。当前版本：MySQL
mysql迁移大量数据备选方案
最新发布
lonelyhiker
09-03 1422
MySQL 大量数据迁移的方法多种多样，每种方案都有其适用的场景和优缺点。选择合适的迁移方案取决于数据量的大小、业务连续性的要求、迁移的复杂性以及对停机时间的容忍度等因素。在实际应用中，可能需要综合使用多种技术和工具，以确保数据迁移的顺利进行。
mysql数据迁移工具_MySQL数据迁移工具的设计与实现
weixin_39711348的博客
01-18 1029
一、背景MySQL作为最流行的关系型数据库产品之一，当数据规模增大遭遇性能瓶颈时，最容易想到的解决方案就是分库分表。无论是进行水平拆分还是垂直拆分，第一步必然需要数据迁移与同步。由此可以衍生出一系列数据迁移过程中的需求：1.原本一张表迁移到单库多表(或多库多表)，这是最基本的需求；2.原本单库多表(或多库多表)迁移到新的多库多表(因表设计不合理、数据规模增大等原因导致需要再次分库分表)3.新表与旧...
mysql数据库迁移工具_MysqlToMsSql(数据库迁移工具)
weixin_42356844的博客
02-28 2767
MysqlToMsSql 为用户提供数据库迁移的功能，数据库是开发人员经常需要用到的，使用这款软件用户可以将MySQL数据转换为SQL Server数据库，省去了导入数据库的时间，操作非常简单，用户只需选择迁移模式并进行配置，就可以实现数据库导入了，迁移速度很快，节省了很多时间。软件特色支持所有版本的Unix和Windows MySQL虚拟服务器用户的特殊方法可以将MS SQL数据合并到现有的My...
MySQL数据迁移:采用MySQLdump工具迁移
maorenqi101的专栏
08-27 3492
该方案优点是简单，容易手上；缺点是停机时间较长。 因此它适用于数据量不大，或者允许停机的时间较长，并且在这个时间范围内能够完成。 由于RDS提供的关系数据库服务与原生的数据库服务是完全兼容的，所以对于用户来说，从原有数据库迁移到RDS数据的过程，与从一个mysql服务器迁移到另外一台mysql服务器的过程基本类似。具体的迁移流程如下：   1、 开通云服务器服务。 2、
实践练习四（必选）：迁移 MySQL 数据到 OceanBase 集群
weixin_54238817的博客
02-27 2099
迁移 MySQL 数据到 OceanBase 集群
实践练习-迁移 MySQL 数据到 OceanBase 集群
qq492328329的博客
04-01 2281
迁移 MySQL 数据到 OceanBase 集群
MySQL数据迁移使用MySQLdump命令
12-16
MySQLdump是一个非常实用的工具，用于在MySQL数据库中执行数据迁移。这个命令行工具可以用来备份数据库，包括结构（表定义）和数据，然后在需要时将这些备份恢复到数据库中。 **一、MySQLdump基本用法** 1. **全库...
OceanBase数据迁移与导入实践：mysqldump与DATAX应用
本篇OceanBase实践练习四主要关注于如何使用MySQL工具进行数据迁移，并将数据导入到OceanBase集群中。首先，实验环境基于之前练习2的部署环境，这可能意味着读者已经熟悉了基本的配置和搭建过程。 核心知识点包括：...
数据库迁移工具
07-14
支持sqlserver,mysql,pgsql,oracel 相互转化工具，支持sqlserver,mysql,pgsql,oracel 相互转化工具
非常棒的数据迁移工具，支持mysql，mssql
02-13
是目前经过测试速度最快、最稳定实现多种数据库之间进行数据转换的工具。支持 SQL Server、MySQL、SQLite、PostgresSQL、Access 等多种数据库类型，通过该工具可以把原来的系统，方便快速地部署在不同的数据库甚至是云端数据库下。在大数据情况下（千万级别以上），处理速度比国内外同类软件要高出300%以上。并针对云端数据库中使用最多的 MySQL 数据库进行优化，使得从源数据库复制到新数据库时保留更多的数据表属性设置。这样大大减少程序员、DBA、实施人员将大型数据库进行迁移时的等待、测试和调试时间，减少公司为了测试某系统转换到新数据库系统时的人力成本。
推荐一款 MySQL 数据库迁移工具：MySQLConverterTool
gitblog_00036的博客
03-18 1031
推荐一款 MySQL 数据库迁移工具：MySQLConverterTool 去发现同类优质开源项目:https://gitcode.com/ 项目简介 在开发过程中，我们经常会遇到数据库迁移的需求，例如将数据从一个数据库系统迁移到另一个数据库系统。为了帮助开发者更方便地进行数据库迁移，今天我们要向大家推荐一款名为 MySQLConverterTool 的工具。 MySQLConverterTool...
mysql数据迁移工具_太火了！Flayway这款数据迁移工具了解一下。
weixin_39755952的博客
12-05 1786
对于数据迁移的概念，相信大家已经都比较熟悉。那么，什么是数据迁移？为什么需要数据迁移？在这里就不再做相关分享啦~。接下来主要分享一下数据迁移工具Flyway使用。Flyway is the Apache v2 licensed open-source tool that makes database migrations easy. It strongly favors simpli...
数据迁移工具mysql_MySQL Visual Database迁移工具
culi4814的博客
08-02 277
数据迁移工具mysqlNothing like good timing. I am working on a project with a company right now who has elected to migrate more than 30 Microsoft Access databases of various size and complexity used internall...
第八篇MySQL核心技术原理之：MySQL数据迁移工具
AI天才研究院
09-19 1027
作者：禅与计算机程序设计艺术 1.简介 在企业级应用系统中，随着业务的不断扩张，数据库的容量、流量等都会逐渐增长，因此，需要对数据库进行定期的数据备份，以避免因数据丢失而造成业务影响。数据的备份方案有很多种，一般都包括全量备份和增量备份两种，全量备份就是将整个数据库复制一份到另外一个地方，增量备份则只是
Mysql数据库迁移：善用Navicat工具，事半功倍
热门推荐
向小凯同学学习
08-07 2万+
数据库迁移 在说到数据库迁移方面，像很多开发工作一样，简单有简单的做法，复杂有复杂的做法，就看怎么做了。那么什么样子的数据库迁移方式才是最优的，在这里是没有准确的定义的。但是我这边分享一个比较简单而言的数据库迁移方案。 一、迁移方案描述 例如我现在有两台数据库实例。 实例一：在这台机器上192.168.23.192，有一个数据库goldchain。 我这个库里面，有大量的表格，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值