数据库分表使用思考

       最近的工作中设计到了数据库分表的使用,因此讲自己使用过程中的一些思考记录下来。

      在数据库的单表数据超过一定规模之后,为了满足性能的需要,采用分表是必须的进行的。在我的工作当中,发现数据库单表数据超过6ooW之后,就开始进行分表的规划,争取控制数据库的单表数据规模在千万级左右。

   

      采用的分表设计中,大致有以下几种,有部分在我的工作中已经使用,有部分没有使用过,当然实际的使用过程中,需要根据需求选择不同的方式,甚至需要将多种设计结合起来一起使用。

      1,路由表。 

            这中分表的方式就是根据一种维度保存数据路由,每次查询实际数据时,先查询路由表数据之后,再进行实际的数据查询。

           其实最常用的查询也可以认为是路由表的一个规则, 比如 存在一个用户表,一个用户爱好表,我们通常通过用户名在用户表中找到userKey,然后在用户爱好表中,通过userKey查找到用户爱好数据。 这其实可以认为是最简单的一个路由表的分表规则。

           优点:数据伸缩性强,数据的增加是比较容易的;对于热度不均的情况,路由表可以方便数据的调整。

           缺点:数据迁移困难,在使用过程中,需要考虑迁移数据的可能性,需要特殊考虑; 会浪费一次额外的查询性能。


       2,数据范围分表。

             数据范围分表,也就是根据数据维度,讲数据分成不同的范围进行存储,最常用的可能就是时间维度。比如2014年数据存放在A表中,2015年数据存放在B表中。在比如根据userKey数字范围做为维度,userKey<=100W放入A表,userKey>100W放入B表等等。实际使用中,需要根据自己的需求来选择数据维度。

           优点: 数据伸缩性强,如果设计合理,数据量可以非常方便的增长;数据迁移方便,因为是根据维度范围分表,调整维度范围也是比较方便。

           缺点:在实际的使用中,存在冷热不均的情况。比如按照时间维度,2015年的数据被查看的可能性远远大于2014年数据,讲会导致大量的压力在B表中。

   

      3,根据主键规则进行分表。

            在存放数据时,数据主键此采用自己定义主键,这样在主键的生成规则中,设定主键的分表标示。比如主键最后两位作为分表标示,那么id = xxxxx01放入01表,id=xxxxx10放入10表。

             优点: 数据伸缩性强,

            缺点: 存在冷热不均的情况,当然,可以通过调整主键生成规则来尽量避免冷热不均的情况。


      4,hash规则分表。

            根据数据维度做hash运算,然后根据hash结果,对数据进行分表。在我的实际使用过程中,更多的是对内存数据处理时,比如jms数据的队列,采用hash规则,没有于数据存储。

            优点:如果设计规则合理,对于冷热不均的情况,会有比较好的处理。

            缺点:数据迁移差。        

  



    数据采用分表之后,对于条件查询是非常不友好的,这部分的处理,目前我没有太多经验,在获取的信息中,大多数都是采用搜索引擎的方式实现条件查询,这部分希望在以前的工作中能够有所了解。

            

         

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值