mysql分表

mycat中间件:
https://blog.csdn.net/u013898617/article/details/80402956
https://blog.csdn.net/kk185800961/article/details/51147029
https://blog.csdn.net/benluobobo/article/details/51099607
https://blog.csdn.net/dulinanaaa/article/details/82686470

https://www.csdn.net/gather_2d/MtTaIg3sMzIyOS1ibG9n.html
https://www.csdn.net/gather_2d/MtTaIg3sMzIyOS1ibG9n.html
https://blog.csdn.net/ahjxhy2010/article/details/50540500
https://blog.csdn.net/luo4105/article/details/78580786
https://blog.csdn.net/hewuke2005/article/details/83586073
https://blog.csdn.net/zhanglingge/article/details/48414419
https://blog.csdn.net/qq_33556185/article/details/52192551
https://blog.csdn.net/hanghangaidoudou/article/details/83349340
https://blog.csdn.net/hewuke2005/article/details/83586073
https://blog.csdn.net/sprone/article/details/84757563
https://blog.csdn.net/weixin_40901788/article/details/82944122
https://blog.csdn.net/qq_27298687/article/details/80255673
https://blog.csdn.net/hanghangaidoudou/article/details/83378615

https://blog.csdn.net/mingover/article/details/71108852
常用的切分方案
数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。
1、一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；
2、另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。

Mysql使用Merge引擎分表--方式及优缺点
merge：是SQL语句的一种。具体来说，MERGE语句会检查原数据表记录和目标表记录。如果记录在原数据表和目标表中均存在，则目标表中的记录将被原数据表中的记录所更新（执行Update操作）；如果目标表中不存在的某（些）记录，在原数据表中存在，则原数据表的这（些）记录将被插入到目标表中（执行Insert操作）

一，先说一下为什么要分表
当一张表的数据达到几百万时，你查询一次所花的时间会很慢，此时用分表的方法可以减小单表查询的负担，缩短查询时间。
mysql执行sql的过程如下：
1,接收到sql;
2,把sql放到排队队列中;
3,执行sql;
4,返回执行结果。
在这个执行过程中最花时间在什么地方呢？
第一，是排队等待的时间，
第二，sql的执行时间。
其实这二个是一回事，等待的同时，肯定有sql在执行。所以我们要缩短sql的执行时间。
为了保证数据的完整性mysql中有一种机制是表锁定和行锁定，myisam存储引擎是表锁定，innodb存储引擎是行锁定。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。如果数据太多，一次执行的时间太长，等待的时间就越长，这也是我们为什么要分表的原因。

二、使用merge存储引擎优缺点
优点：
1.查询数度比一张大表查询要快很多
1.引用多个数据表而无需发出多条查询，只用查询merge引擎这张表就可以查到所有。
2.适用于存储日志数据。例如，可以将不同月份的数据存入不同的表，然后使用myisampack工具压缩数据减少空间，最后通过MERGE表查询仍可以像往常那样工作。
3.可以更方便的维护，修复单个的小表要比修复大数据表更加容易。
4.多个子表映射至一个总表的速度极快。因为MERGE表本身不会存储和维护任何索引，索引都是由各个关联的子表存储和维护的，所以创建和重新映射MERGE表的速度非常快。
缺点：
1.总表（MERGE表）必须使用MRG_MyISAM存储引擎，子表必须使用MyISAM存储引擎，不可避免会受到MyISAM存储引擎的限制，MyISAM不支持事务操作。
2.MERGE表不能使用某些MyISAM特性。例如，子表可创建全文索引，MERGE表查询不能使用全文索引
3.一张表对应三个文件，1000个分表就是对应3000个文件，这样检索起来也会变的很慢
4.若使用ALTER TABLE语句修改MERGE表，那么会立即丢失总表和子表的映射关系，并且会将所有子表的数据拷贝至修改后的新表。
5.子表之间不能保证唯一键约束，只能保证单个子表内部的唯一性约束。
6.子表不支持分区（Partition）。
7.不支持INSERT DELAYED插入延时语句。

三、使用merge存储引擎来实现分表
1.子表必须使用MyISAM存储引擎，每个子表的表结构必须相同。
create table log_2001 
( 
id int not null auto_increment,
dt datetime not null, 
info varchar(100) not null, 
primary key(id),
index (dt) 
) ENGINE = MyISAM; 
create table log_2002 like log_2001;

2.建立merge表，merge表的表结构必须与各个子表结构相同，merge数据表也支持DELETE 、UPDATE、INSERT操作。MERGE数据表的定义里可以包括一个INSERT_METHOD选项，这个选项的可取值是NO、FIRST、LAST，他们的含义依次是禁止插入、插入到第一个字表、插入到最后一个字表。
create table log_merge 
( 
id int not null auto_increment,
dt datetime not null, 
info varchar(100) not null, 
primary key(id),
index (dt) 
) ENGINE = MERGE UNION = (log_2001, log_2002) 
INSERT_METHOD = FIRST; 

3.创建一个新的子表，并让他有同样的表结构，然后修改log_merge数据表把新子表包括进来，注意UNION表必须同属一个DATABASE
create table log_2003 like log_2001;
alter table log_merge 
UNION = (log_2001, log_2002,log_2003); 

注意：
1.如果是通过修改.mrg文件的方式来修改MERGE表，那么一定要修改后要通过FLUSH TABLES刷新表缓存，否则修改不会生效。
2.查询结果及顺序与创建Merge表时联合表的顺序有关，例如：
INSERT INTO log_2001(id,dt,info)VALUES(1,'2017-01-01 11:00:00','测试01')
INSERT INTO log_2002(id,dt,info)VALUES(1,'2018-01-01 11:00:00','测试02')
SELECT * FROM log_merge WHERE id=1;
 只会得到一条记录(1,'2017-01-01 11:00:00','测试01')，并不是两条记录，也不会是(1,'2018-01-01 11:00:00','测试02')。这是因为id是 primary key，如果在第一个表中查询到记录，则不在后面的表中记录查。如果id并没有定义唯一性约束，则这个查询会得到两条记录。
 
 

常见问题：
1）建表时UNION指明的子表如果存在相同主键的记录会怎么样？
相同主键的记录会同时存在于MERGE中，就像第三节中的例子所示。但如果继续向MERGE表中插入数据，若数据主键已存在则无法插入。换言之，MERGE表只对建表之后的操作负责。

2）若MREGE后存在重复主键，按主键查询会是什么结果？
顺序查询，只出现一条查询记录即停止。执行
1 select * from t where id=1;
只会得到结果
+----+--------+
| id | name    |
+----+--------+
|  1 | test1  |
+----+--------+

3）直接删除一个子表会出现什么情况，正确删除的方式是怎样的？
MERGE表会被破坏，正确方式是用alter table方式先将子表从MERGE表中去除，再删除子表。
以第三节中的例子为例，执行如下操作
1 alter table t ENGINE=MRG_MyISAM UNION=(t1) INSERT_METHOD=LAST;
可以从MERGE表中去除t2，这里你可以安全的对t2进行任何操作了。

4）误删子表时，如何恢复MERGE表？
误删子表时，MERGE表上将无法进行任何操作。
方法1，drop MERGE表，重建。重建时注意在UNION部分去掉误删的子表。
方法2，建立MERGE表时，会在数据库目录下生成一个.MRG文件，比如设表名为t，则文件名为t.MRG。
文件内容类似：
t1
t2
#INSERT_METHOD=LAST
指明了MGEGE表的子表构成及插入方式。
可以直接修改此文件，去掉误删表的表名。然后执行flush tables即可修复MERGE表。

5）MERGE的子表中之前有记录，且有自增主键，则MERGE表创建后，向其插入记录时主键以什么规则自增？
以各表中的AUTO_INCREMENT最大值做为下一次插入记录的主键值。
比如t1的自增ID至6，t2至4，则创建MERGE表后，插入的下一条记录ID将会是7

6）两个结构完全相同的但已存在数据的表，是否一定可以合成一个MEREGE表？
从实验的结果看，不是这样的，有时创建出的表，无法进行任何操作。
所以，推荐的使用方法是先有一个MERGE表，里面只包含一张表，当一个这个表的的大小增长到一定程度（比如200w）时，创建另一张空表，将其挂入MERGE表，然后继续插入记录。

也就是说两张表自增id最好不要重复，比如：t1存id存 1-10000 ，t2存10001-20000。 

7）删除MERGE表是否会对子表产生影响？
不会

8）MREGE表的子表的ENGIN是否有要求？
有的，必须是MyISAM表