mysql分表后迁移数据_MySQL分库分表单库分表和迁移数据(4th)

最新推荐文章于 2024-04-27 19:25:22 发布

短尾巴的松鼠

最新推荐文章于 2024-04-27 19:25:22 发布

阅读量582

点赞数

文章标签： mysql分表后迁移数据

本文链接：https://blog.csdn.net/weixin_34061241/article/details/113380209

版权

前奏

因为在分表的时候我们需要知道我们分的是第几个表，所以我们先需要初始化我们的分表号

-- 创建一个系统信息表为了记录下当前最大的分表号

DROP TABLE system_setting;

CREATE TABLE system_setting(

system_setting_id INT unsigned NOT NULL AUTO_INCREMENT COMMENT '系统设置表ID',

name VARCHAR(45) NOT NULL COMMENT '系统设置项目名',

value VARCHAR(45) NOT NULL COMMENT '系统设置值',

PRIMARY KEY(system_setting_id)

);

-- 初始化当前最大分表号

INSERT INTO system_setting VALUES(NULL, 'max_sharding_table_num', 1);

-- 指定需要有哪些表需要分，为了下面分表时进行锁表

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'sell_order');

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'buy_order');

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'goods');

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'order_goods');

-- 需要分表的表是通过什么字段来分表的

INSERT INTO system_setting VALUES(NULL, 'sharding_sell_order_by', 'user_guide_id');

INSERT INTO system_setting VALUES(NULL, 'sharding_buy_order_by', 'user_id');

INSERT INTO system_setting VALUES(NULL, 'sharding_goods_by', 'store_id');

INSERT INTO system_setting VALUES(NULL, 'sharding_order_goods_by', 'user_guide_id');

-- 普通用户需要分那张表

INSERT INTO system_setting VALUES(NULL, 'normal_user_sharding', 'buy_order');

-- 导购需要分的表

INSERT INTO system_setting VALUES(NULL, 'user_guide_sharding', 'buy_order');

INSERT INTO system_setting VALUES(NULL, 'user_guide_sharding', 'sell_order');

INSERT INTO system_setting VALUES(NULL, 'user_guide_sharding', 'order_goods');

-- 店主需要分哪些表

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'buy_order');

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'sell_order');

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'order_goods');

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'goods');

-- 创建一个系统信息表为了记录下当前最大的分表号

DROP TABLE system_setting;

CREATE TABLE system_setting(

system_setting_id INT unsigned NOT NULL AUTO_INCREMENT COMMENT '系统设置表ID',

name VARCHAR(45) NOT NULL COMMENT '系统设置项目名',

value VARCHAR(45) NOT NULL COMMENT '系统设置值',

PRIMARY KEY(system_setting_id)

);

-- 初始化当前最大分表号

INSERT INTO system_setting VALUES(NULL, 'max_sharding_table_num', 1);

-- 指定需要有哪些表需要分，为了下面分表时进行锁表

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'sell_order');

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'buy_order');

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'goods');

INSERT INTO system_setting VALUES(NULL, 'sharding_table', 'order_goods');

-- 需要分表的表是通过什么字段来分表的

INSERT INTO system_setting VALUES(NULL, 'sharding_sell_order_by', 'user_guide_id');

INSERT INTO system_setting VALUES(NULL, 'sharding_buy_order_by', 'user_id');

INSERT INTO system_setting VALUES(NULL, 'sharding_goods_by', 'store_id');

INSERT INTO system_setting VALUES(NULL, 'sharding_order_goods_by', 'user_guide_id');

-- 普通用户需要分那张表

INSERT INTO system_setting VALUES(NULL, 'normal_user_sharding', 'buy_order');

-- 导购需要分的表

INSERT INTO system_setting VALUES(NULL, 'user_guide_sharding', 'buy_order');

INSERT INTO system_setting VALUES(NULL, 'user_guide_sharding', 'sell_order');

INSERT INTO system_setting VALUES(NULL, 'user_guide_sharding', 'order_goods');

-- 店主需要分哪些表

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'buy_order');

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'sell_order');

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'order_goods');

INSERT INTO system_setting VALUES(NULL, 'store_owner_sharding', 'goods');

我们的目标

1、我们的目标是实现能手动指定创建多少张表，并且能手动指定哪些用户到哪些表中。

2、最终能通过一定的算法，自动化这些分表迁移数据的工作。

在这里我们来实现 '1' 手动指定, 以下可能比较枯燥都是代码了, 一般只要看主逻辑有一个思路，代码自己玩转它 ^_^

程序流程图

代码主逻辑展示

在附件中有完整的代码

if __name__=='__main__':

# 设置默认的数据库链接参数

db_config = {

'user' : 'root',

'password': 'root',

'host' : '127.0.0.1',

'port' : 3306,

'database': 'test'

}

sharding = ShardingTable()

# 设置数据库配置

sharding.set_db_config(db_config)

# 初始化游标

sharding.get_conn_cursor()

# 提供需要分表的个数，创建分表

sharding.create_tables(9)

# 指定用户迁移数据到指定表

sharding.move_data('username1', 2)

sharding.move_data('username6', 6)

sharding.move_data('username66', 9)

if __name__=='__main__':

# 设置默认的数据库链接参数

db_config = {

'user' : 'root',

'password': 'root',

'host' : '127.0.0.1',

'port' : 3306,

'database': 'test'

}

sharding = ShardingTable()

# 设置数据库配置

sharding.set_db_config(db_config)

# 初始化游标

sharding.get_conn_cursor()

# 提供需要分表的个数，创建分表

sharding.create_tables(9)

# 指定用户迁移数据到指定表

sharding.move_data('username1', 2)

sharding.move_data('username6', 6)

sharding.move_data('username66', 9)

上面我们指定新分9个表，并且迁移 'username1-店主'、'username6-导购'、'username66-普通用户' 的数据到指定分表

查看迁移后的数据

-- 查看迁移后的数据-购买订单表

SELECT * FROM buy_order_2 LIMIT 0, 1;

SELECT * FROM buy_order_6 LIMIT 0, 1;

SELECT * FROM buy_order_9 LIMIT 0, 1;

-- 查看迁移后的数据-商品表

SELECT * FROM goods_2 LIMIT 0, 1;

SELECT * FROM goods_6 LIMIT 0, 1;

SELECT * FROM goods_9 LIMIT 0, 1;

-- 查看迁移后的数据-出售订单表

SELECT * FROM sell_order_2 LIMIT 0, 1;

SELECT * FROM sell_order_6 LIMIT 0, 1;

SELECT * FROM sell_order_9 LIMIT 0, 1;

-- 查看迁移后的数据-订单商品表

SELECT * FROM order_goods_2 LIMIT 0, 1;

SELECT * FROM order_goods_6 LIMIT 0, 1;

SELECT * FROM order_goods_9 LIMIT 0, 1;

-- 查看用户数据分布在哪个分表 table_flag

SELECT * FROM user WHERE user_id IN(1, 6, 66);