分库分表与分布式全局唯一性ID
一、为什么要分库分表?
如果单表的数据量达到1000w+后,会极大影响 sql 执行的性能,即使添加或优化索引,做很多操作时性能仍下降严重。
如果单库中存放了很多表,如:会员表、订单表、商品表等,那么这个数据库极大可能由于高并发造成瘫痪,并且数据维护也不方便。
分库分表前面临的问题 | 解决办法 |
---|---|
用户请求量太大 | 分散请求到多个服务器上 |
单库太大 | 切分成更多更小的库 |
单表太大,造成CRUD慢 | 切分成多个数据集更小的表 |
一般来说,在系统设计阶段就应该根据业务耦合松紧来确定垂直分库,垂直分表方案,在数据量及访问压力不是特别大的情况,首先考虑缓存、读写分离、索引技术等方案。若数据量极大,且持续增长,再考虑水平分库水平分表方案。
二、垂直拆分
2.1 垂直分库
垂直分库指按照业务将表进行分类,分布到不同的数据库上面,每个库可以放在不同的服务器上,它的核心理念是专库专用。
2.2 垂直分表
垂直分表指将一个表按照字段分成多表,每个表存储其中一部分字段,它带来的提升是:
- 为了避免IO争抢并减少锁表的几率,查看详情的用户与商品信息浏览互不影响
- 充分发挥热门数据的操作效率,商品信息的操作的高效率不会被商品描述的低效率所拖累
三、水平拆分
3.1 水平分库
水平分库指将一个数据库中的数据按一定规则拆到不同的数据库中,每个库可以放在不同的服务器上,它带来的提升是:
- 解决了单库大数据,高并发的性能瓶颈
- 提高了系统的稳定性及可用性
3.2 水平分表
水平分表是在同一个数据库内,把同一个表的数据按一定规则拆到多个表中,它带来的提升是:
- 优化单一表数据量过大而产生的性能问题
- 提高了系统稳定性和负载能力
四、分库分表后带来的问题
- 主键 id 唯一性
- 分布式事务问题:在执行分库分表之后,由于数据存储到了不同的库上,数据库事务管理出现了困难
- 跨库跨表的 join 问题:在执行了分库分表之后,难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上,这时,表的关联操作将受到限制,我们无法join位于不同分库的表<