数据分布算法
(1)集中式的元数据查询,如hdfs
(2)分布式算法,例如一致性哈希算法,如crush
CRUSH算法步骤:
1、pool_id+hash(object_id)得到pg_id
2、针对每一个osd,通过同样的常量r,CRUSH_HASH(PG_ID, OSD_ID, r) 得出一个不同的随机数,然后使用自己的随机数与osd的weight相乘,得到draw,选出其中最大的draw值作为第一个osd;然后将常量r+1,对每一个osd再一次计算自己的随机数,然后使用自己的随机数与osd的weight相乘,得到draw,选出其中最大的draw值作为第二个osd;然后将常量r+2,对每一个osd再一次计算自己的随机数,然后使用自己的随机数与osd的weight相乘,得到draw,选出其中最大的draw值作为第三个osd。
四种选择算法:
1、Unique
2、List
3、Tree
4、Straw(目前使用)
crush算法源码分析:
src\crush\CrushWrapper.h
1、函数do_rule开始进行crush算法的处理,调用函数crush_do_rule
void do_rule(int rule, int x, vector<int>& out, int maxout,
const WeightVector& weight,
uint64_t choose_args_index) const {
int rawout[maxout];
char work[crush_work_size(crush, maxout)];
crush_init_workspace(crush, work);
crush_choose_arg_map arg_map