mysql 分库 实现_MySQL分库分表python实现分库(7th)

最新推荐文章于 2022-12-05 17:11:28 发布
最新推荐文章于 2022-12-05 17:11:28 发布
阅读量205 收藏
点赞数
文章标签： mysql 分库 实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35698170/article/details/113168400
版权

理清思路

现在我们分为两大个步骤：

1、创建分库，并在分库中创建分表。

2、能指定用户的数据到特定的库和表。

现在我们有两个数据库了：

1、test库：里面存放了公共访问的数据表，因此在python我们需要有一个公共数据源。

2、test_1分库：里面存放的是需要分表的表和数据，因此我们需要一个用户原数据所在的数据源。

3、test_n分库：此库是用户的数据需要迁移到其他库的库，因此我们需要一个数据迁移的目录库数据源。

分库流程图

21bf0f782182caeaf303a5a92cc357a6.png

主执行过程

if __name__=='__main__':

# 设置默认的数据库链接参数

db_config_common = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

'database': 'test'

}

# 配置用户数据所在数据库源

db_config_from = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

'database': 'test_1'

}

# 配置用户数据迁移目标数据目录

db_config_from = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

}

sharding = ShardingDatabase()

# 设置公共数据库配置

sharding.get_conn_cursor(db_config_common, 'common')

# 设置用户原数据数据库配置

sharding.get_conn_cursor(db_config_from, 'from')

# 设置用户目标数据库配置

sharding.get_conn_cursor(db_config_to, 'to')

# 创建分库

db_config_to.pop('database')

sharding.create_db(db_config_to)

# 向分库中创建分表

max_num = sharding.get_max_sharding_table_num()

sharding.create_tables(begin = 1, offset = max_num, force=True)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

if __name__=='__main__':

# 设置默认的数据库链接参数

db_config_common = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

'database': 'test'

}

# 配置用户数据所在数据库源

db_config_from = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

'database': 'test_1'

}

# 配置用户数据迁移目标数据目录

db_config_from = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

}

sharding = ShardingDatabase()

# 设置公共数据库配置

sharding.get_conn_cursor(db_config_common, 'common')

# 设置用户原数据数据库配置

sharding.get_conn_cursor(db_config_from, 'from')

# 设置用户目标数据库配置

sharding.get_conn_cursor(db_config_to, 'to')

# 创建分库

db_config_to.pop('database')

sharding.create_db(db_config_to)

# 向分库中创建分表

max_num = sharding.get_max_sharding_table_num()

sharding.create_tables(begin = 1, offset = max_num, force=True)

执行分库程序

python sharding_database.py

python sharding_database.py

1

2

pythonsharding_database.py

pythonsharding_database.py

执行后结果

SHOW DATABASES;

+--------------------+

| Database           |

+--------------------+

| test               |

| test_1             |

| test_2             |

| test_3             |

+--------------------+

SELECT * FROM test.system_setting;

+-------------------+---------------------------+-----------------------------------------------------------------------------------------------+

| system_setting_id | name                      | value                                                                                         |

+-------------------+---------------------------+-----------------------------------------------------------------------------------------------+

|                18 | max_sharding_database_num | 3                                                                                             |

|                19 | sharding_database         | test_1                                                                                        |

|                20 | test_1                    | {'user':'root','password':'root','host':'127.0.0.1','port':3306,'database':'test_1'}          |

|                21 | sharding_database_prefix  | test                                                                                          |

|                38 | harding_database          | test_2                                                                                        |

|                39 | test_2                    | {"port": 3306, "host": "127.0.0.1", "password": "root", "user": "root", "database": "test_2"} |

|                40 | harding_database          | test_3                                                                                        |

|                41 | test_3                    | {"port": 3306, "host": "127.0.0.1", "password": "root", "user": "root", "database": "test_3"} |

+-------------------+---------------------------+-----------------------------------------------------------------------------------------------+

USE test_2

SHOW TABLES;

+------------------+

| Tables_in_test_2 |

+------------------+

| buy_order_1      |

| buy_order_10     |

| buy_order_2      |

| buy_order_3      |

| buy_order_4      |

| buy_order_5      |

...

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

SHOW DATABASES;

+--------------------+

| Database           |

+--------------------+

| test               |

| test_1             |

| test_2             |

| test_3             |

+--------------------+

SELECT * FROM test.system_setting;

+-------------------+---------------------------+-----------------------------------------------------------------------------------------------+

| system_setting_id | name                      | value                                                                                         |

+-------------------+---------------------------+-----------------------------------------------------------------------------------------------+

|                18 | max_sharding_database_num | 3                                                                                             |

|                19 | sharding_database         | test_1                                                                                        |

|                20 | test_1                    | {'user':'root','password':'root','host':'127.0.0.1','port':3306,'database':'test_1'}          |

|                21 | sharding_database_prefix  | test                                                                                          |

|                38 | harding_database          | test_2                                                                                        |

|                39 | test_2                    | {"port": 3306, "host": "127.0.0.1", "password": "root", "user": "root", "database": "test_2"} |

|                40 | harding_database          | test_3                                                                                        |

|                41 | test_3                    | {"port": 3306, "host": "127.0.0.1", "password": "root", "user": "root", "database": "test_3"} |

+-------------------+---------------------------+-----------------------------------------------------------------------------------------------+

USE test_2

SHOW TABLES;

+------------------+

| Tables_in_test_2 |

+------------------+

| buy_order_1      |

| buy_order_10     |

| buy_order_2      |

| buy_order_3      |

| buy_order_4      |

| buy_order_5      |

...

python迁移用户数据到指定的分库分表

流程图

65ab0fe4d73527504c05ab86d8a5bf18.png

主程序

if __name__=='__main__':

# 设置公共库配置

db_config_common = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

'database': 'test'

}

sharding = ShardingDatabase()

# 设置公共数据库配置

sharding.get_conn_cursor(db_config_common, 'common')

# 指定用户数据到 哪个库 哪个表，如：用户username3数据迁移到 test_3库 10号表

sharding.move_data('username3', 'test_3', 10)

sharding.move_data('username7', 'test_2', 3)

sharding.move_data('username55', 'test_2', 6)

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

if __name__=='__main__':

# 设置公共库配置

db_config_common = {

'user'    : 'root',

'password': 'root',

'host'    : '127.0.0.1',

'port'    : 3306,

'database': 'test'

}

sharding = ShardingDatabase()

# 设置公共数据库配置

sharding.get_conn_cursor(db_config_common, 'common')

# 指定用户数据到 哪个库 哪个表，如：用户username3数据迁移到 test_3库 10号表

sharding.move_data('username3', 'test_3', 10)

sharding.move_data('username7', 'test_2', 3)

sharding.move_data('username55', 'test_2', 6)

上面程序展示了将三位用户的数据迁移到指定的分库和分表中:

1、用户：username3 -> 库：test_3 -> 表：*_10

2、用户：username7 -> 库：test_2 -> 表：*_3

3、用户：username55 -> 库：test_2 -> 表：*_6

迁移后结果展示

SELECT * FROM user;

+---------+-------------+-------------+------------+---------+

| user_id | username    | password    | table_flag | db_name |

+---------+-------------+-------------+------------+---------+

|       3 | username3   | password3   |         10 | test_3  |

|       7 | username7   | password7   |          3 | test_2  |

|      55 | username55  | password55  |          6 | test_2  |

...

USE test_3

SELECT * FROM sell_order_10 LIMIT 0, 1;

+---------------------+---------------+---------+---------+--------+

| sell_order_id       | user_guide_id | user_id | price   | status |

+---------------------+---------------+---------+---------+--------+

| 3792112071144902657 |             7 |      10 | 9720.00 |      1 |

+---------------------+---------------+---------+---------+--------+

SELECT * FROM buy_order_10 LIMIT 0, 1;

+---------------------+---------+---------------+

| buy_order_id        | user_id | user_guide_id |

+---------------------+---------+---------------+

| 3792111974680104961 |       3 |             1 |

+---------------------+---------+---------------+

SELECT * FROM goods_10 LIMIT 0, 1;

+---------------------+------------+--------+----------+

| goods_id            | goods_name | price  | store_id |

+---------------------+------------+--------+----------+

| 3792111953670836225 | goods1     | 370.00 |        3 |

+---------------------+------------+--------+----------+

SELECT * FROM order_goods_10 LIMIT 0, 1;

+---------------------+---------------------+---------------------+---------------+--------+------+

| order_goods_id      | sell_order_id       | goods_id            | user_guide_id | price  | num  |

+---------------------+---------------------+---------------------+---------------+--------+------+

| 3792112350317776897 | 3792112071144902657 | 3792111953670836225 |             7 | 370.00 |    1 |

+---------------------+---------------------+---------------------+---------------+--------+------+

USE test_2

SELECT * FROM sell_order_3 LIMIT 0, 1;

+---------------------+---------------+---------+---------+--------+

| sell_order_id       | user_guide_id | user_id | price   | status |

+---------------------+---------------+---------+---------+--------+

| 3792112052236980225 |             6 |      10 | 7790.00 |      1 |

+---------------------+---------------+---------+---------+--------+

SELECT * FROM buy_order_3 LIMIT 0, 1;

+---------------------+---------+---------------+

| buy_order_id        | user_id | user_guide_id |

+---------------------+---------+---------------+

| 3792111974399086593 |       7 |             1 |

+---------------------+---------+---------------+

SELECT * FROM order_goods_3 LIMIT 0, 1;

+---------------------+---------------------+---------------------+---------------+---------+------+

| order_goods_id      | sell_order_id       | goods_id            | user_guide_id | price   | num  |

+---------------------+---------------------+---------------------+---------------+---------+------+

| 3792112312489349121 | 3792112052236980225 | 3792111952869724161 |             6 | 6368.00 |    2 |

+---------------------+---------------------+---------------------+---------------+---------+------+

USE test_2

SELECT * FROM buy_order_3 LIMIT 0, 1;

+---------------------+---------+---------------+

| buy_order_id        | user_id | user_guide_id |

+---------------------+---------+---------------+

| 3792111974399086593 |       7 |             1 |

+---------------------+---------+---------------+

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

SELECT * FROM user;

+---------+-------------+-------------+------------+---------+

| user_id | username    | password    | table_flag | db_name |

+---------+-------------+-------------+------------+---------+

|       3 | username3   | password3   |         10 | test_3  |

|       7 | username7   | password7   |          3 | test_2  |

|      55 | username55  | password55  |          6 | test_2  |

...

USE test_3

SELECT * FROM sell_order_10 LIMIT 0, 1;

+---------------------+---------------+---------+---------+--------+

| sell_order_id       | user_guide_id | user_id | price   | status |

+---------------------+---------------+---------+---------+--------+

| 3792112071144902657 |             7 |      10 | 9720.00 |      1 |

+---------------------+---------------+---------+---------+--------+

SELECT * FROM buy_order_10 LIMIT 0, 1;

+---------------------+---------+---------------+

| buy_order_id        | user_id | user_guide_id |

+---------------------+---------+---------------+

| 3792111974680104961 |       3 |             1 |

+---------------------+---------+---------------+

SELECT * FROM goods_10 LIMIT 0, 1;

+---------------------+------------+--------+----------+

| goods_id            | goods_name | price  | store_id |

+---------------------+------------+--------+----------+

| 3792111953670836225 | goods1     | 370.00 |        3 |

+---------------------+------------+--------+----------+

SELECT * FROM order_goods_10 LIMIT 0, 1;

+---------------------+---------------------+---------------------+---------------+--------+------+

| order_goods_id      | sell_order_id       | goods_id            | user_guide_id | price  | num  |

+---------------------+---------------------+---------------------+---------------+--------+------+

| 3792112350317776897 | 3792112071144902657 | 3792111953670836225 |             7 | 370.00 |    1 |

+---------------------+---------------------+---------------------+---------------+--------+------+

USE test_2

SELECT * FROM sell_order_3 LIMIT 0, 1;

+---------------------+---------------+---------+---------+--------+

| sell_order_id       | user_guide_id | user_id | price   | status |

+---------------------+---------------+---------+---------+--------+

| 3792112052236980225 |             6 |      10 | 7790.00 |      1 |

+---------------------+---------------+---------+---------+--------+

SELECT * FROM buy_order_3 LIMIT 0, 1;

+---------------------+---------+---------------+

| buy_order_id        | user_id | user_guide_id |

+---------------------+---------+---------------+

| 3792111974399086593 |       7 |             1 |

+---------------------+---------+---------------+

SELECT * FROM order_goods_3 LIMIT 0, 1;

+---------------------+---------------------+---------------------+---------------+---------+------+

| order_goods_id      | sell_order_id       | goods_id            | user_guide_id | price   | num  |

+---------------------+---------------------+---------------------+---------------+---------+------+

| 3792112312489349121 | 3792112052236980225 | 3792111952869724161 |             6 | 6368.00 |    2 |

+---------------------+---------------------+---------------------+---------------+---------+------+

USE test_2

SELECT * FROM buy_order_3 LIMIT 0, 1;

+---------------------+---------+---------------+

| buy_order_id        | user_id | user_guide_id |

+---------------------+---------+---------------+

| 3792111974399086593 |       7 |             1 |

+---------------------+---------+---------------+

test5656
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python+MySQL分表分库实战
02-18
Python+MySQL分表分库实战. 值得收藏与下载哦....!!!!!!!!!!!!
python mysql 数据表分表
Summer1991ZX的博客
08-14 1094
乌班图中输入： mysql -uroot -p 1.创建一个数据库 jing_dong create database jing_dong 2.创建一个数据表goods create table goods( id int unsigned primary key auto_increment not null, name varchar(150) not null, c...
python mysql分库分表_python脚本生成sql分库分表语句
weixin_35182419的博客
01-27 376
使用场景§: 数据库做分库分表架构的，日常维护需要生成分片sql。脚本如下®:#!/usr/bin/python#! _*_ coding:utf-8 _*_import re# 支持生成分表语句类型(delete,create,drop,update,alter,truncat,select)mumber = 2 #生成分片的sql数量c = """select y.id,y.name,y.cr...
Python+MySQL分表分库实战 - v1.0 - 运维生存时间 -（2016）.mobi
06-18
Python后端运维工程师的可靠参考书，重点介绍如何优化mysql数据库性能。
汇编语言调用库 - 配套Assembly Language for X86 Processors
04-14
irvine库封装了这些功能，使得开发者可以通过简单的函数调用来实现I/O操作，例如显示字符串、读取用户输入等。 3. **内存管理**：在低级别编程中，内存管理是核心任务之一。irvine库提供了动态分配和释放内存的函数...
nemo_asr_7th_hackathon.ipynb
11-14
nemo_asr_7th_hackathon.ipynb
python入门6-10章节练习源代码_代码_changeboh_入门_python入門書籍_python_
09-29
Python是一种广泛使用的高级编程语言，尤其适合初学者入门。标题中的"python入门6-10章节练习源代码"指的是这组资源是针对Python初学者设计的，包含了从第六章到第十章的学习练习代码。这些章节通常会涵盖Python基础...
zoj 题库 详细解答 解题代码
03-24
1. 第一次 ACM 总结（7th ACM） 该题目主要考察了基本的算法设计和实现能力，要求解决 A + B 问题。该问题的解决需要对基本的算法设计和实现有深入的理解。 知识点：基本算法设计、算法实现、数据类型、操作符。 ...
Windows Internals, Part 1 7th 2017第7版 pdf(conv) 0分
05-12
Title: Windows Internals, Part 1: System architecture, processes, threads, memory management, and more, 7th Edition pdf转化版 Author: Alex Ionescu, David A. Solomon, Pavel Yosifovich Length: 800 pages...
Python与MySQL分表分库实战
03-21
Python与MySQL分表分库实战，压缩包文件，欢迎下载。11
Python库 | django_sharding-4.0.0-py2-none-any.whl
03-02
python库。 资源全名：django_sharding-4.0.0-py2-none-any.whl
MySQL分库分表python实现分库(7th)
weixin_34268610的博客
02-29 828
理清思路现在我们分为两大个步骤：1、创建分库，并在分库中创建分表。2、能指定用户的数据到特定的库和表。现在我们有两个数据库了：1、test库：里面存放了公共访问的数据表，因此在python我们需要有一个公共数据源。2、test_1分库：里面存放的是需要分表的表和数据，因此我们需要一个用户原数据所在的数据源。3、test_n分库：此库是用户的数据需要迁移到其他库的库，因此我们...
Python利用groupby模块进行Mysql分表数据的汇总统计
BabyFish13
12-02 1296
Mysql分表数据，一般情况下我们是把他导入到数据仓库中整合到一张表中；由于环境受限，所以考虑使用Python脚本取分表数据在Python中进行计算的形式。 1、取Mysql分表进行汇总计算的Python脚本 /Users/nisj/PycharmProjects/BiDataProc/love/staticFromMysqlSubmeter.py # -*- coding=utf-8 -*
mysql shharding_MySQL分库分表python实现分库(7th)
weixin_28757113的博客
02-17 254
理清思路现在我们分为两大个步骤：1、创建分库，并在分库中创建分表。2、能指定用户的数据到特定的库和表。现在我们有两个数据库了：1、test库：里面存放了公共访问的数据表，因此在python我们需要有一个公共数据源。2、test_1分库：里面存放的是需要分表的表和数据，因此我们需要一个用户原数据所在的数据源。3、test_n分库：此库是用户的数据需要迁移到其他库的库，因此我们需要一个数据迁移的目录库...
〖Python 数据库开发实战 - MySQL篇⑱〗- 分组查询的应用
热门推荐
易编橙 · 终身成长社群，相遇已是上上签！
07-27 4万+
该章节来开始学习分组查询，上一章节我们学习了聚合函数，默认统计的是全表范围内的数据，配合上 WHERE 就能够缩小统计的范围了。但是这并不能满足我们的要求，比如说我们按照之前的数据表查询每个部门的平均底薪是多少？这样的记录就需要针对部门编号进行分组了。根据分组的情况统计分组内的最大值、最小值、平均值等等。如此就能够满足刚刚提到的 "查询每个部门的平均底薪" 这样的需求了，另外，"分组查询" 是 SQL 中很重要的一个语法，大家一定要好好掌握它。............
MySql横向分表
joker_187的博客
10-07 843
MySql横向分表 现阶段主流互联网公司的业务量都很大，很容易就导致业务表变得臃肿，查询效率变低，再怎么优化sql；加索引最终还是不能解决问题，但是这些数据又必须要保存。这个时候就要考虑分表或者分库了。 这里主要讨论如何去分表，分库之后再讨论 1.根据表主键值范围分：比如1～2000放到tb_1;2001~4000放到tb_2 2.根据数值取模：余数为0放tb_1;余数为1放tb_2。这样做有一个...
java 平滑升级_为啥要用分库分表方案？如何平滑升级？看这篇！
weixin_30073141的博客
02-26 367
点击上方☝码猿技术专栏轻松关注！及时获取有趣有料的技术文章 本文来源：http://8rr.co/v5TZ一、数据库瓶颈不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧(并发量、吞吐量、崩溃)。1、IO瓶颈第一种：磁盘读IO瓶颈，热点数据太多，数据库缓...
Python分库分表都有哪些常见形式？
zy1992As的博客
12-05 532
“分库分表”是谈论数据库架构和优化时经常听到的关键词。那么对于这些业务量正在高速增长的公司，它有那么容易实践吗?垂直分表垂直分表在日常开发和设计中比较常见，通俗的说法叫做“大表拆小表”，拆分是基于关系型数据库中的“列”(字段)进行的。通常情况，某个表中的字段比较多，可以新建立一张“扩展表”，将不经常使用或者长度较大的字段拆分出去放到“扩展表”中，如下图所示： 在字段很多的情况下，拆分开确实更便于开发和维护。拆分字段的操作建议在数据库设计阶段就做好。如果是在发展过程中拆分，则需要改写以前的查询语句，会额外带来
rosen_discrete_mathematics_and_its_applications_7th_edition
最新发布
07-21
### 回答1： 《离散数学及其应用》是一本写给大学生学习离散数学的教材，由肯尼思·罗森（Kenneth Rosen）编写的第七版。这本教材广泛被全球大学使用，被认为是离散数学的经典教材之一。 该书的主要内容包括逻辑、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值