数据库对表的三种分割技术

原创 2016年08月31日 14:39:10
一.水平分割 
  水平分割根据某些条件将数据放到两个或多个独立的表中。即按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。水平切割将表分为多个表。每个表包含的列数相同,但是数据行更少。例如,可以将一个包含十亿行的表水平分区成 12 个表,每个小表表示特定年份内一个月的数据。任何需要特定月份数据的查询只需引用相应月份的表。 

通常用来水平分割表的条件有:日期时间维度、地区维度等,当然还有更多的业务维度。下面我举几个例子来解说一下 
案例1:某个公司销售记录数据量太大了,我们可以对它按月进行水平分割,每个月的销售记录单独成一张表。 
案例2:某个集团在各个地区都有分公司,该集团的订单数据表太大了,我们可以按分公司所在的地区进行水平切割。 
案例3:某电信公司的话单按日期、地市水平切割后,发现数据量太大,然后他们又按品牌、号码段进行水平切割 
水平分割通常在下面的情况下使用: 
  (1)表数据量很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,加快了查询速度。 
  (2)表中的数据本来就有独立性,例如表中分别记录各个地区的数据或不同时期的数据,特别是有些数据常用,而另外一些数据不常用。 
  (3)需要把数据存放到多个介质上。 
  (4)需要把历史数据和当前的数据拆分开。 
优点: 
  1:降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,加快了查询速度。 
缺点: 
  1:水平分割会给应用增加复杂度,它通常在查询时需要多个表名,查询所有数据需要union操作。在许多数据库应用中,这种复杂性会超过它带来的优点,因为只要索引关键字不大,则在索引用于查询时,表中增加两到三倍数据量,查询时也就增加读一个索引层的磁盘次数。 

二.垂直分割 
  
垂直分割表(不破坏第三范式),把主码(主键)和一些列放到一个表,然后把主码(主键)和另外的一些列放到另一个表中。将原始表分成多个只包含较少列的表。如果一个表中某些列常用,而另外一些列不常用,则可以采用垂直分割。 
优点: 
  1:垂直分割可以使得行数据变小,一个数据块(Block)就能存放更多的数据,在查询时就会减少I/O次数(每次查询时读取的Block 就少)。 
  2:垂直分割表可以达到最大化利用Cache的目的。 
缺点: 
  1:表垂直分割后,主码(主键)出现冗余,需要管理冗余列 
  2:会引起表连接JOIN操作(增加CPU开销)需要从业务上规避 

三. 库表散列 

  表散列与水平分割相似,但没有水平分割那样的明显分割界限,采用Hash算法把数据分散到各个分表中, 这样IO更加均衡。一般来说,我们会按照业务或者功能模块将数据库进行分离,不同的模块对应不同的数据库或者表,再按照一定的策略对某个页面或者功能进行更小的数据库散列,比如用户表,按照用户ID进行表散列,散列128张表,则应就能够低成本的提升系统的性能并且有很好的扩展性 
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

数据库的拆分

http://blog.csdn.net/bluishglc/article/details/6161475 本文着重介绍sharding的基本思想和理论上的切分策略,关于更加细致的实施策略...

浅谈数据库的水平拆分

转自: http://dryr.blog.163.com/blog/static/582110132010422115946413/ 一般人们分析问题,总是从问题现象,原因分析,解决方案这样的思路来...

数据库水平拆分和垂直拆分区别(

数据库水平拆分和垂直拆分区别(以mysql为例) 数据库水平拆分和垂直拆分区别(以mysql为例)   案例:     简单购物系统暂设涉及如下表:...
  • zljjava
  • zljjava
  • 2014年08月07日 17:28
  • 21465

MySQL数据库表如何水平拆分和垂直拆分

目前很多互联网系统都存在单表数据量过大的问题,这就降低了查询速度,影响了客户体验。为了提高查询速度,我们可以优化sql语句,优化表结构和索引,不过对那些百万级千万级的数据库表,即便是优化过后,查询速度...

数据库优化-表拆分

通过某种特定的条件,将存放在同一个数据库中的数据分散存放到多个数据库上,实现分布存储,通过路由规则路由访问特定的数据库,这样一来每次访问面对的就不是单台服务器了,而是N台服务器,这样就可以降低单台机器...

数据库表的垂直拆分和水平拆分

垂直拆分 垂直拆分是指数据表列的拆分,把一张列比较多的表拆分为多张表 通常我们按以下原则进行垂直拆分: 把不常用的字段单独放在一张表; 把text,blob等大字段拆分出来放在附表中; 经常组...
  • zbuger
  • zbuger
  • 2016年04月18日 10:16
  • 1987

数据库拆分:横向拆分和纵向拆分

一、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。不太严格的讲,对于海量数据的数据库,如果是因为表多...
  • lonpo
  • lonpo
  • 2015年07月01日 21:05
  • 2822

大容量数据库对表做分割

大容量数据库对表做分割可以提高性能。表分割有以下三种方式: 水平分割     根据一列或多列数据的值把数据行放到两个独立的表中。     水平分区将表分为多个表。每个表包含的列数相同,但是行...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:数据库对表的三种分割技术
举报原因:
原因补充:

(最多只允许输入30个字)