数据库垂直拆分 水平拆分

       当我们使用读写分离、缓存后,数据库的压力还是很大的时候,这就需要使用到数据库拆分了。

        数据库拆分简单来说,就是指通过某种特定的条件,按照某个维度,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面以达到分散单库(主机)负载的效果。 

        切分模式: 垂直(纵向)拆分、水平拆分。

垂直拆分

        专库专用

        一个数据库由很多表的构成,每个表对应着不同的业务,垂直切分是指按照业务将表进行分类,分布到不同的数据库上面,这样也就将数据或者说压力分担到不同的库上面,如下图:

        

优点:

        1. 拆分后业务清晰,拆分规则明确。

        2. 系统之间整合或扩展容易。

        3. 数据维护简单。

缺点:

        1. 部分业务表无法join,只能通过接口方式解决,提高了系统复杂度。

        2. 受每种业务不同的限制存在单库性能瓶颈,不易数据扩展跟性能提高。

        3. 事务处理复杂。

水平拆分

        垂直拆分后遇到单机瓶颈,可以使用水平拆分。相对于垂直拆分的区别是:垂直拆分是把不同的表拆到不同的数据库中,而水平拆分是把同一个表拆到不同的数据库中。

        相对于垂直拆分,水平拆分不是将表的数据做分类,而是按照某个字段的某种规则来分散到多个库之中,每个表中包含一部分数据。简单来说,我们可以将数据的水平切分理解为是按照数据行的切分,就是将表中 的某些行切分到一个数据库,而另外的某些行又切分到其他的数据库中,主要有分表,分库两种模式,如图:



优点:

        1. 不存在单库大数据,高并发的性能瓶颈。

        2. 对应用透明,应用端改造较少。     

        3. 按照合理拆分规则拆分,join操作基本避免跨库。

        4. 提高了系统的稳定性跟负载能力。

缺点:

        1. 拆分规则难以抽象

        2. 分片事务一致性难以解决。

        3. 数据多次扩展难度跟维护量极大。

        4. 跨库join性能较差。

拆分的处理难点

两张方式共同缺点

        1. 引入分布式事务的问题。

        2. 跨节点Join 的问题。

        3. 跨节点合并排序分页问题。

数据源管理的思路

        A. 客户端模式,在每个应用程序模块中配置管理自己需要的一个(或者多个)数据源,直接访问各个 数据库,在模块内完成数据的整合。 

        优点:相对简单,无性能损耗。   

        缺点:不够通用,数据库连接的处理复杂,对业务不够透明,处理复杂。

       B. 通过中间代理层来统一管理所有的数据源,后端数据库集群对前端应用程序透明;

        优点:通用,对应用透明,改造少。   

        缺点:实现难度大,有二次转发性能损失。

拆分原则

        1. 尽量不拆分,架构是进化而来,不是一蹴而就。(SOA)

        2. 最大可能的找到最合适的切分维度。

        3. 由于数据库中间件对数据Join 实现的优劣难以把握,而且实现高性能难度极大,业务读取  尽量少使用多表Join -尽量通过数据冗余,分组避免数据垮库多表join。

        4. 尽量避免分布式事务。

        5. 单表拆分到数据1000万以内。

切分方案

        范围、枚举、时间、取模、哈希、指定等

1、顺序拆分:例如订单表可以按订单的日期按年份才分,2016年的放在db1中,2017年的db2,以此类推。当然也可以按主键标准拆分。

      优点:可部分迁移。

      缺点:数据分布不均,可能2016年的订单有200W,2017年的有800W。

2、hash取模分: 例如订单表对user_id进行hash(或者如果user_id是数值型的话直接使用user_id的值也可),然后用一个特定的数字,比如应用中需要将一个数据库切分成4个数据库的话,我们就用4这个数字对user_id的hash值进行取模运算,也就是user_id%4,这样的话每次运算就有四种可能:结果为1的时候对应DB1;结果为2的时候对应DB2;结果为3的时候对应DB3;结果为0的时候对应DB4,这样一来就非常均匀的将数据分配到4个DB中。

  优点:数据分布均匀。

  缺点:数据迁移的时候麻烦;不能按照机器性能分摊数据 。

3、在认证库中保存数据库配置,就是建立一个DB,这个DB单独保存user_id到DB的映射关系,每次访问数据库的时候都要先查询一次这个数据库,以得到具体的DB信息,然后才能进行我们需要的查询操作。

  优点:灵活性强,一对一关系。

  缺点:每次查询之前都要多一次查询,会造成一定的性能损失。


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值