【第22期】观点:IT 行业加班,到底有没有价值?

ceph 数据均衡

原创 2015年11月18日 14:51:08

ceph 数据均衡

问题的提出:

在ceph集群中,当有新的OSD 添加到集群中,会导致数据移动以达到数据均衡,数据的移动只在旧的OSD和新添加的OSD之间移动,还是旧有的OSD之间也有数据移动?

上次Ceph社区交流,有人提到,当有100个OSD时,添加OSD, 旧有的OSD之间会有剧烈的数据移动


目前做了一个实验,Ceph 集群有6个 OSD(0,1,2,3,4,5),再添加 2个新的OSD(6,7), 观察添加新的OSD之前和之后的PG变化

通过 ceph pg ls | awk '{print $15}' 可以获得所有的PG到OSD的映射
集群中共有pg 169 个

对比结果发现会有这样的迁移:(4,0,1) --> (6,1,3) 也就是旧的OSD之间的迁移

总共有134个PG迁移,这样的内部之间迁移的PG有6个,比例不是太多

结论:
原有的旧的OSD之间内部确实有数据的迁移


最近有人开发了以工具,可以模块pg的分布,这样在迁移时,可以做一些模拟实验,当合适时再迁移:
https://github.com/ceph/ceph/pull/6004
版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

ceph 数据平衡

ceph 数据平衡ceph数据平衡,很显然ceph分布式存储系统中的driver存储的数据失衡,体现在有些盘数据较多而有些盘数据较少,相差在20%左右。由木桶原理可知这样会导致大量的存储空间浪费,所有...

ceph的CRUSH数据分布算法介绍

CRUSH是ceph的一个模块,主要解决可控、可扩展、去中心化的数据副本分布问题。 1 摘要 随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现。这些系统必须平衡的分布数据和负...

欢迎关注CSDN程序人生公众号

关注程序员生活,汇聚开发轶事。

开源分布式文件系统CEPH调研

(本文是淘宝网的技术写的,保存研究了)。 Ceph是加州大学Santa Cruz分校的Sage Weil(DreamHost的联合创始人)专为博士论文设计的新一代自由软件分布式文件系统。自2007年毕业之后,Sage开始全职投入到Ceph开 发之中,使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统,使数据能容错和无缝的复制。2010年3 月,Linus Torvalds将Ceph client合并到内 核2.6.34中。 Ceph中有很多在

GlusterFS集群文件系统研究

http://blog.csdn.net/liuben/article/details/6284551   <a style="margin: 0px; padding: 0px; color: #ff9900;" n

ceph的CRUSH数据分布算法介绍

ceph的CRUSH数据分布算法介绍 -- 5 Replies CRUSH是ceph的一个模块,主要解决可控、可扩展、去中心化的数据副本分布问题。 1 摘要 随着大规模分...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)