mysql千万级数据分表_基于Mysql数据库亿级数据下的分库分表方案

各位看官内容喜欢的话，动动手指点个 ，点个关注呗！！谢谢支持！

前言

移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据等这样的分析，都需要依靠数据统计和分析，当数据量小时，数据库方面的优化显得不太重要，一旦数据量越来越大，系统响应会变慢，TPS直线下降，直至服务不可用。

补充

在mysql中，每个数据库最多可创建20亿个表，一个表允许定义1024列，每行的最大长度为8092字节（不包括copy文本和图像类型的长度）。

当表中定义有varchar、nvarchar或varbinary类型列时，如果向表中插入的数据行超过8092字节时将导致Transact-SQL语句失败，并产生错误信息。

SQL Server对每个表中行的数量没有直接限制，但它受数据库存储空间的限制。每个数据库的最大空间1048516TB，所以一个表可用的最大空间为1048516TB减去数据库类系zhidao统表和其它数据库对象所占用的空间。

问题

可能有人会问，为何不用Oracle呢？确实，很多开发者写代码时并不会关心SQL的问题，凡是性能问题都交给DBA负责SQL优化，可是，不是每一个项目都会有DBA，也不是所有的项目都会采用Oracle数据库，而且，Oracle数据库在大数据量的背景下，解决性能问题，也不见的是一个非常轻松的事情。

那么，MySQL能不能支撑亿级的数据量呢，我的答案是肯定的，绝大部分的互联网公司，它们采用的数据存储方案，绝大部分都是以MySQL为主，不差钱的国企和银行，以Oracle为主，而且有专职的DBA为你服务。

本文会以一个实际的项目应用为例，层层向大家剖析[如何进行数据库的优化]项目背景是企业级的统一消息处理平台，客户数据在5千万加，每分钟处理消息流水1千万，每天消息流水1亿左右。

虽说MySQL单表可以存储10亿级的数据，但这个时候性能非常差。既然一张表无法搞定，那么就想办法将数据放到多个地方来解决问题吧，于是，数据库分库分表的方案便产生了，目前比较普遍的方案有三个：分区、分库分表、NoSQL/NewSQL。

在实际的项目中，往往是这三种方案的结合来解决问题，目前绝大部分系统的核心数据都是以RDBMS存储为主，NoSQL/NewSQL存储为辅。

分区

分区方案

分区表是由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们也可以直接访问各个分区，存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引只是在各个底层表上各自加上一个相同的索引，从存储引擎的角度来看，底层表和一个普通表没有任何不同，存储引擎也无须知道这是一个普通表还是一个分区表的一部分。

这个方案也不错，它对用户屏蔽了sharding的细节，即使查询条件没有sharding column，它也能正常工作（只是这时候性能一般）。

不过它的缺点很明显：很多的资源都受到单机的限制，例如连接数，网络吞吐等。

如何进行分区，在实际应用中是一个非常关键的要素之一。<