《收获,不止Oracle》分片技术

分区表是一个利器,在数据操作只落在某个分区,或者是需要对历史数据进行清理的时候,能发挥出巨大的作用。不过,如果我们是做全表的操作,比如针对所有分区进行汇总查询的时候,分区表的作用是不是就不明显了,要是这个表达到几百 GB 甚至更大,这样的全量处理基本上数据库是撑不住的。

对于有海量数据的数据库,如果是因为表多而数据多,这时候适合使用垂直切分,即把关系紧密(比如同一模块)的表切分出来放在一个服务器上,如图4-5所示。垂直切分的最大特点就是规则简单,实施也更为方便,尤其适合各业务之间的耦合度非常低、相互影响很小、业务逻辑非常清晰的系统。在这种系统中,可以很容易做到将不同业务模块所使用的表拆分到不同的数据库中。根据不同的表来进行拆分,对应用程序的影响也更小,拆分规则也会比较简单清晰,这就是所谓的share nothing。

垂直切分 

 现实中的海量数据库可能表数量又多,记录数又多,因此多数系统会将垂直切分和水平切分联合使用,先对系统做垂直切分,再针对每一张表的情况有选择性地做水平切分,如图4-7所示,从而将整个数据库切分成一个分布式矩阵。

水平切分与垂直切分配合

 

Oracle中的分片技术主要包括下面这些组件:

Sharded database(SDB):逻辑上SDB是一个数据库,但是物理上SDB包括多个物理独立的数据库,SDB类似一个数据库池,数据库池中包括多个数据库(Shard)。目前的版本最大支持1000个Shard。

Shard:SDB包括多个物理独立的数据库,每一个数据库都称为Shard,每个Shard数据库位于不同的服务器上,它们不共享CPU、内存、存储等资源。每个Shard数据库中保存表的不同数据集,但是每个Shard中都有相同的列。Shard数据库可以是Dataguard/ADG,提供高可用性,Shard数据库(单机或者ADG)可以通过GSM deploy来自动创建,也可以将一个已经通过dbca创建好的数据库添加到SDB。

Shard catalog:这是一个Oracle数据库,用于集中存储管理SDB的配置信息,是SDB的核心。SDB配置变化,比如添加/删除shard、Global service等,都记录在Shard catalog中。如果应用查询多个 Shard 中的数据,那么由 Shard catalog 统一协调分配。我们推荐将 Shard catalog配置为Dataguard环境,这样可以提供HA高可用性。如果Shard catalog无法访问,那么只会影响一些维护操作和跨Shard访问,而不会影响单独的Shard操作(通过sharding key的查询/DML)。

Shard directors: Global Data Service(GDS)实现对分片的集中部署和管理。GSM是GDS的核心组件。GSM作为Shard director,GSM类似于监听器,将客户端对SDB的请求路由到对应的shard,负载均衡客户端的访问。

sharding的主要工作原理说明

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值