Swift定位数据


当一个节点上的进程需要去寻找一个账户、容器或对象的数据时,先去查找环(ring)的本地副本,环文件包括账户环文件、容器环文件、对象环文件。Swift为每一分数据存储多个副本,所以查找的结果也是返回多个位置。
环是分发到集群中的每个节点的一组查找表。swift使用一个修改版本的一致性哈希环。

环基础:哈希函数

可以这样理解哈希,将一个长串数据生成一个短长度索引。
一个简单方法:使用MD5来得到对象的存储位置的哈希值。除以可用的盘的数量,得到余数,最后将余数值映射到驱动器ID。
缺点:几乎每次添加新盘,对象都必须移动到新的盘上。大量对象情况下将产生繁重的网络负载,以及数据不可用的情况。

环基础:一致性哈希环

一致性哈希(Consistent hashing)的介绍参考:
https://blog.csdn.net/sparkliang/article/details/5279393

环文件:修改后的一致性哈希环

swift使用的是一个修改的一致性哈希环,这些修改的部分包括副本数量、副本锁、数据分发机制等。

分区

如果是一个没有修改的一致性哈希环,那么当添加或删除的时候会有海量的小哈希范围变大或者缩小。这种波动将导致存储容量变化期间部分对象不可访问。
swift以不同方式获取环,虽然环仍被划分为许多小的哈希范围,这些哈希范围都是固定大小并且数量不变的。

分区幂指数(Partition power)

分区数 = 2^分区幂指数
例如,分区幂指数 = 15,则分区数 = 32768。这么多的分区将会被映射到可用设备上。虽然集群中可用设备数会发生变化,但是分区总数是不会变化的。

副本数(Replica count)
副本锁(Replica locks)

当一个分区被移动时,Swift会锁定这个分区,别的副本不允许再被移动已保障数据可用性。

数据分发(Distribution of Data)

除了使用修改后的环外,swift还有两个其他机制均匀地分配数据

  • 权重(Weight)
  • 尽量分散(Unique as possible)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值