关闭

数据库分区(partition)

标签: 数据库高性能分页并发
1665人阅读 评论(0) 收藏 举报
分类:

什么是数据库分区?

数据库分区是一种对表的横向分割,Sqlserver 2005企业版和之后的Sqlserver版本才提供这种技术,这种对表的横向分割不同于2000中的表分割,它对访问用户是透明的,用户并不会感觉的表被横向分割了。(2000中的表横向分割是建n个表例如按时间建表每月一个表,表名不同,最后需要做一个大视图)


为什么要分区?

显而易见分区是为了提高数据库的读写性能,提高数据库的效率;


分区是否总是可以提高效率?

分区是一把双刃剑,并不总能提高效率,这和具体情况有关系。

之所以有分区技术,分区技术用的好的话可以提高性能,是因为一方面分区把一大块数据分成了n小块,这样查询的时候很快定位到某一小块上,在小块中寻址要快很多;另一方面CPU比磁盘IO快很多倍,而硬件上又有多个磁盘,或者是RAID(廉价磁盘冗余阵列),可以让数据库驱动CPU同时去读写不同的磁盘,这样才有可能可以提高效率。

分区在有些时候并不能提高读写效率,比如说我们经常看到的按照日期字段去分区MSDN例子,这个实例中是按照记录的生成时间来分区的,把一年的数据分割成12个分区,每月一个。这样的分区导致分区并不能实现CPU同步写并提高写入性能,因为在同一个时段CPU总是要写入到最新的那一个分区对应的磁盘中。另一个问题是:这样分区是否可以提高读取性能呢?答案是不一定,要看根据什么字段来查询,如果是根据时间来查询,根据时间生成报表那么这种分区肯定会提高查询的效率,但是如果是按照某个客户查询客户最近1年内的账单数据,这样数据分布到不同的分区上,这样的话效率就不一定能提高了,这要看数据在同一个分区上连续分布的读性能高,还是CPU从几个磁盘上同步读取,然后在合并数据的性能更高一些,这和读取数据的记录数也有关系。


如何分区?用什么字段做分区依据?

具体如何分区和涉及的业务有关系,要看业务上最经常的写入和读取操作是什么,然后再考虑分区的策略。


既然与具体业务相关,我们就假定一个业务环境,假如我们要做一个论坛,对论坛的帖子和回复表进行分区。

论坛中最常见的写操作是1)发帖 2)回复帖子,

最常见的读操作是

1) 根据帖子id显示帖子详情和分页的帖子回复

2) 根据帖子版面帖子列表页根据版面id分页读取帖子列表数据

怎么分区更合适呢?现在还没有准确答案,我有两种可能的方案,写下来,大家讨论看看。

方案1.根据帖子ID区域段分区(1-300w一个分区、300w-600w一个分区…),这样理论上可以提高帖子详细页的读取速度,而对于写操作性能没有益处,对于根据版面id读取帖子列表页有可能有益

方案2.根据版面id进行分区,这样对于写性能应该有提高,不同的分区对应不同的版面,当有两个版面同时有发帖回帖操作时,有可能可以并发写。对于根据版面id获得帖子列表页数据也可以提高性能,而对于帖子详细信息页没有性能影响。


多大的数据量才需要分区?

这个问题我只能说一个内部标准,如果一张表的记录超过在超过1000w,并以每月百万的数据量增长,那就需要分区。大家有不同的看法请回复讨论。


--------------------------------------------------------------


我想大家都碰到过这样的情况,某个业务表中的数据量很大,急速膨胀,在这样的情况下,我们为了保持高的数据响应速度,根据数据的时间局部性和空间局部性原则,可以通过对数据表进行分片设计.

一般有两种分片方法:横向分片和竖向分片

横向分片是将业务表按使用部门拆分为多个表,各个部门之间的数据相对独立,相互之间互不影响,这种方法适用于各部门相互独立的情况,不过带来的问题就是部门不便扩展,统计及交换数据不便,举个例子,同样的医嘱管理系统,几个病区,一个病区一张表,虽然带来了查询数据效率的提高,但是病区之间病人转科,数据交换不方便

竖向分片是将业务表中不常用的数据转移到另外的表中,如在院和出院病人数据分别存于不同的表中,病人出院后就将在院病人数据转到出院病人表中,因为在院病人数据是经常要操作的,所以这种分片保证了在院病人数据表始终保持一定的量,从而提高查询的效率

我们该怎样使用这两种方法呢,根据本人数据库设计经验,在数据量较小,部门之间数据频繁交换的情况下使用竖向分片,这样会保证程序设计中逻辑相对保持简单,提高了程序的可靠性,也降低了程序员的负担.

竖向分片仍然不足以解决问题的情况下,我们再引入横向分片,将数据经常交换的部门分为一组,放在同一张业务表中,横向分片数要尽量少,减少统计程序的复杂性

不过在要求更高效率的情况下,横向分片加并发的数据检索可大大提高数据统计速度,对要求实时高速的情况下可以使用这种方法,不过我更倾向于ODS,对业务数据自动抽取汇总,大大提高数据统计速度.


 

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场