文章目录
当一个节点上的进程需要去寻找一个账户、容器或对象的数据时,先去查找环(ring)的本地副本,环文件包括账户环文件、容器环文件、对象环文件。Swift为每一分数据存储多个副本,所以查找的结果也是返回多个位置。
环是分发到集群中的每个节点的一组查找表。swift使用一个修改版本的一致性哈希环。
环基础:哈希函数
可以这样理解哈希,将一个长串数据生成一个短长度索引。
一个简单方法:使用MD5来得到对象的存储位置的哈希值。除以可用的盘的数量,得到余数,最后将余数值映射到驱动器ID。
缺点:几乎每次添加新盘,对象都必须移动到新的盘上。大量对象情况下将产生繁重的网络负载,以及数据不可用的情况。
环基础:一致性哈希环
一致性哈希(Consistent hashing)的介绍参考:
https://blog.csdn.net/sparkliang/article/details/5279393
环文件:修改后的一致性哈希环
swift使用的是一个修改的一致性哈希环,这些修改的部分包括副本数量、副本锁、数据分发机制等。
分区
如果是一个没有修改的一致性哈希环,那么当添加或删除的时候会有海量的小哈希范围变大或者缩小。这种波动将导致存储容量变化期间部分对象不可访问。
swift以不同方式获取环,虽然环仍被划分为许多小的哈希范围,这些哈希范围都是固定大小并且数量不变的。
分区幂指数(Partition power)
分区数 = 2^分区幂指数
例如,分区幂指数 = 15,则分区数 = 32768。这么多的分区将会被映射到可用设备上。虽然集群中可用设备数会发生变化,但是分区总数是不会变化的。
副本数(Replica count)
副本锁(Replica locks)
当一个分区被移动时,Swift会锁定这个分区,别的副本不允许再被移动已保障数据可用性。
数据分发(Distribution of Data)
除了使用修改后的环外,swift还有两个其他机制均匀地分配数据
- 权重(Weight)
- 尽量分散(Unique as possible)