ceph 数据均衡

原创 2015年11月18日 14:51:08

ceph 数据均衡

问题的提出:

在ceph集群中,当有新的OSD 添加到集群中,会导致数据移动以达到数据均衡,数据的移动只在旧的OSD和新添加的OSD之间移动,还是旧有的OSD之间也有数据移动?

上次Ceph社区交流,有人提到,当有100个OSD时,添加OSD, 旧有的OSD之间会有剧烈的数据移动


目前做了一个实验,Ceph 集群有6个 OSD(0,1,2,3,4,5),再添加 2个新的OSD(6,7), 观察添加新的OSD之前和之后的PG变化

通过 ceph pg ls | awk '{print $15}' 可以获得所有的PG到OSD的映射
集群中共有pg 169 个

对比结果发现会有这样的迁移:(4,0,1) --> (6,1,3) 也就是旧的OSD之间的迁移

总共有134个PG迁移,这样的内部之间迁移的PG有6个,比例不是太多

结论:
原有的旧的OSD之间内部确实有数据的迁移


最近有人开发了以工具,可以模块pg的分布,这样在迁移时,可以做一些模拟实验,当合适时再迁移:
https://github.com/ceph/ceph/pull/6004
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

ceph数据读写原理

  • 2017-08-24 15:26
  • 713KB
  • 下载

Ceph 网络模块(4)——SimpleMessenger数据结构及代码流程分析

Ceph 的消息处理主要关联到以下几个类:架构上采用 Publish/subscribe(发布/订阅) 的设计模式.模块说明:Messenger 该类作为消息的发布者, 各个 Dispatcher ...

【分析】Ceph数据一致性检查 - Scrub调优

除了使用对象多副本,Ceph还通过Scrub 归置组(PG)来保证数据的完整性。在对象存储层,Ceph Scrub类似于fsck。针对每一个归置组(PG),OSD比较主副本和从副本,确保没有对象丢失和...

ceph的CRUSH数据分布算法介绍

ceph的CRUSH数据分布算法介绍简介CRUSH是ceph的一个模块,主要解决可控、可扩展、去中心化的数据副本分布问题。 ceph设计了CRUSH(一个可扩展的伪随机数据分布算法),用在分布式对象...

ceph关于multipart读取数据的总结

ceph关于multipart读取数据的总结

【分析】Ceph数据一致性检查 - Scrub的调度

1.1   Scrub的调度解决一个PG何时启动Scrub扫描机制。主要有以下方式:1. 手动立即启动执行扫描2. 在后台设置一定的时间间隔,按照时间间隔的时间启动。默认时间为一天执行一次。3. 设置...

理解Ceph CRUSH数据定位算法

Ceph是当下最优秀的分布式存储系统之一。其中Ceph EBS块设备结合虚拟机的使用场景十分流行。 Ceph的核心之一是其数据定位算法,称之为CRUSH算法,这是一种用户可控的伪随机算法。理解此算法对...

ceph 数据校验机制 scrub源码分析

ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象,通过与其他副本比对来发现是否一致,如果存在不一致,抛出异常提示用户手动解决。 ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)