实践练习四：迁移mysql数据到OceanBase集群

实践练习四:迁移mysql数据到OceanBase集群

写在前面

---

实验准备：

一台8C32G的ECS：

mysql

ob集群 （在其部署上单节点单副本集群(:happy:虽然只有一个节点及副本，不过我们依然称其为集群哈)）

datax

tpcc

通过mysqldump进行mysql2ob数据迁移的大致实验过程：

1.在mysql上通过tpcc创建模拟数据

2.通过mysqldump生成数据结构及内容脚本

3.在obclient中执行脚本实现数据迁移

通过datax进行mysql2ob数据迁移的大致实验过程：

1.安装datax，并进行自检

2.编写用于配置数据迁移的json文件

3.运行datax python脚本进行数据迁移

整体来看，实验并不复杂，中间会遇到一些小问题，不过网上基本能够找到解决方案，那就让我们开始吧

1.通过mysqldump实现mysql2ob

---

mysql的安装就不赘述了哈， 我们直接连接本地mysql进行测试库的创建

# 创建测试库testdb并设置默认编码集为utf8mb4
create database `testdb` default character set utf8mb4 collate utf8mb4_general_ci;

# 离线下载https://github.com/Percona-Lab/tpcc-mysql/archive/refs/heads/master.zip
# 解压
unzip tpcc-mysql-master.zip 
# 进行指定目录下进行文件编译
cd tpcc-mysql-master/src/
make

# 连接本地mysql测试库，执行tpcc建表脚本
source ~/tpcc-mysql-master/create_table.sql
# 导入模拟数据
./tpcc_load -h127.0.0.1 -P3306 -d testdb -uroot -w 2 -p12345678

# mysqldump 导出测试库表结构 (注意当前所在目录) -p如果直接带密码会有warning
mysqldump -h127.0.0.1 -P3306 -p -uroot -d testdb --compact > tpcc_dbschema.sql
# mysqldump 导出测试库表数据 
mysqldump -h127.0.0.1 -P3306 -p -uroot -t testdb  --compact > tpcc_data.sql

# 连接本地ob,在业务租户下创建目标库
obclient -h127.1 -uroot@tenant_1#obalone -prootPWD123 -P2883 -c -A oceanbase
create database targetdb

# 执行建表脚本 (注意需要先切换到对应的目标库)
use targetdb
source /home/admin/tpcc_dbschema.sql
# 执行导数脚本
source /home/admin/tpcc_data.sql

# 查看导入数据的结果
use targetdb
show tables

可以看到ob的目标库中和mysql测试库中的表一致，迁移完成。

2.通过datax实现mysql2ob

---

datax只需要下载并解压（http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz）即可使用，前提需要安装jdk以及python，这里对安装不进行具体说明了，有需要的小伙伴可以参考下ob的官方文档，直接搜索datax即可。

我们进行这里使用datax将mysql:testdb下的orders表数据同步至ob:target下的orders表中（由于刚刚mysqldump实验，ob中的数据和mysql的已经一致了，所以在我们在编辑json文件时需要在数据同步前清空ob中的orders表，以便我们查看datax的同步结果）

注意事项：

• 如果插件报错 **reader, writer加载失败，需要去解压目录的plugin/reader or writer目录下删除._开头的文件
• 如果mysql连接不上，用户名、端口等相关信息检查无误后，还需要检查plugin/reader/mysqlreader/libs下的mysql-connector-java-xxx.jar的版本是否适用与本地的mysql版本，若不支持需要进行替换
• mysql、ob连接时均需要密码，因为datax的json文件中连接串的密码一项不允许为空

# 到解压目录的bin/，进行自检，判断datax是否工作正常,无报错即可
python datax.py ../job/job.json

//编辑mysql2ob.json如下：
{
    "job": {
        "setting": {
            "speed": {
                "channel": 4 
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "12345678",
                        "column": [
                            "*"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "orders"
                                ],
                                "jdbcUrl": ["jdbc:mysql://172.27.60.15:3306/testdb"
                                ]
                            }
                        ]
                    }
                },

                "writer": {
                    "name": "oceanbasev10writer",
                    "parameter": {
                        "obWriteMode": "insert",
                        "column": [
                            "*"
                        ],
                        "preSql": [
                            "truncate table orders"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "||_dsc_ob10_dsc_||obalone:tenant_1||_dsc_ob10_dsc_||jdbc:oceanbase://127.0.0.1:2883/targetdb?useLocalSessionState=true&allowBatch=true&allowMultiQueries=true&rewriteBatchedStatements=true",
                                "table": [
                                    "orders"
                                ]
                            }
                        ],
                        "username": "root"
                        "password":"rootPWD123",
                        "writerThreadCount":10,
                        "batchSize": 1000,
                        "memstoreThreshold": "0.9"
                    }
                }
            }
        ]
    }
}

# 执行同步任务
python datax.py ../job/mysql2ob.json

```bash
# 执行同步任务
python datax.py ../job/mysql2ob.json