架构
坏蛋小猴
这个作者很懒,什么都没留下…
展开
-
数据分片路由抽象模型
目前基于海量的数据,数据需要进行分片可水平扩展的分布在服务器上,上图的抽象模型抽象出来分片和路由的过程,可看做两级映射关系,key-partition的是数据关键字到shard空间的映射(多对一),partition-machine(多对一)是数据分片空间到物理机器的映射原创 2016-04-27 13:08:45 · 1671 阅读 · 0 评论 -
哈希分片之哈希取模法(round robin)
接着上一章数据路由分片抽象模型,本节介绍一种此抽象模型的实现方案-round robin(哈希取模法)假设有K台物理机 根据以下方法就可以实现数据分片H(key) = hash(key)mod K物理机编号为0到K-1 根据以上哈希方法 可以把数据分配到每台机器上,取数据时也是使用相同的方法。但是如果新增一台物理机,哈希函数就变成以下形式H(key)=hash(key原创 2016-05-08 10:37:57 · 15501 阅读 · 0 评论 -
哈希分片之虚拟桶技术(virtual buckets)
上一节讲述的哈希取模法 不利于扩展,物理机和hash函数严重耦合。这一节讲述的虚拟桶技术比round robin更容易扩展,数据分片和物理机分开处理,couchbase就是利用的此技术。记录和物理机之间引入了虚拟桶层,记录通过hash函数映射到虚拟桶,记录和虚拟桶是多对一的关系;第二层是虚拟桶和物理机之间的映射,同样也是多对一的关系,及一个物理机对应多个虚拟桶,这个层关系是通过内存表实现的。原创 2016-05-08 11:33:36 · 2856 阅读 · 0 评论