ceph 数据均衡

原创 2015年11月18日 14:51:08

ceph 数据均衡

问题的提出:

在ceph集群中,当有新的OSD 添加到集群中,会导致数据移动以达到数据均衡,数据的移动只在旧的OSD和新添加的OSD之间移动,还是旧有的OSD之间也有数据移动?

上次Ceph社区交流,有人提到,当有100个OSD时,添加OSD, 旧有的OSD之间会有剧烈的数据移动


目前做了一个实验,Ceph 集群有6个 OSD(0,1,2,3,4,5),再添加 2个新的OSD(6,7), 观察添加新的OSD之前和之后的PG变化

通过 ceph pg ls | awk '{print $15}' 可以获得所有的PG到OSD的映射
集群中共有pg 169 个

对比结果发现会有这样的迁移:(4,0,1) --> (6,1,3) 也就是旧的OSD之间的迁移

总共有134个PG迁移,这样的内部之间迁移的PG有6个,比例不是太多

结论:
原有的旧的OSD之间内部确实有数据的迁移


最近有人开发了以工具,可以模块pg的分布,这样在迁移时,可以做一些模拟实验,当合适时再迁移:
https://github.com/ceph/ceph/pull/6004
版权声明:本文为博主原创文章,未经博主允许不得转载。

三种增删osd的方法数据量迁移大小

一、前言 之前有写过一篇删除OSD的正确方式,里面只是简单的讲了下删除的方式怎样能减少迁移量,本篇属于一个扩展,讲述了 Ceph 运维当中经常出现的坏盘提换盘的步骤的优化 基础环境两台...
  • xiongwenwu
  • xiongwenwu
  • 2016年11月10日 20:07
  • 1181

ceph 数据平衡

ceph 数据平衡ceph数据平衡,很显然ceph分布式存储系统中的driver存储的数据失衡,体现在有些盘数据较多而有些盘数据较少,相差在20%左右。由木桶原理可知这样会导致大量的存储空间浪费,所有...
  • litianze99
  • litianze99
  • 2015年09月26日 00:18
  • 1239

解析Ceph和9000分布式存储

Ceph是呼声很高的开源分布式的SDS产品存储系统。同时提供对象存储、块存储和文件系统存储三种功能,满足不同应用需求。Ceph使用C++语言开发,遵循LGPL协议开源。Sage Weil(Ceph论文...
  • swingwang
  • swingwang
  • 2016年06月11日 19:34
  • 8984

Ceph浅析

Ceph是统一存储系统,支持三种接口。 Object:有原生的API,而且也兼容Swift和S3的APIBlock:支持精简配置、快照、克隆File:Posix接口,支持快照 Ceph也是...
  • qq_28703581
  • qq_28703581
  • 2016年04月13日 13:56
  • 2464

解析Ceph: 恢复与数据一致性

作为一个面向大规模的分布式存储系统,故障处理是作为一个常态异常处理。Ceph 为了细化和保证故障发生和故障恢复的集群高可用性和一致性,在设计上将故障分为两类:临时性故障: 主机升级维护,重启,掉电等等...
  • XingKong_678
  • XingKong_678
  • 2016年05月23日 21:49
  • 1906

如何学习开源项目及Ceph的浅析

章宇:如何学习开源项目及Ceph的浅析 发表于13小时前| 次阅读| 来源个人博客| 9 条评论| 作者章宇 云计算OpenStack开源IaaSCeph云存储博客 摘要...
  • scut1135
  • scut1135
  • 2014年04月11日 11:42
  • 1971

Ceph架构

架构 Ceph 在同一平台上实现并且提供了包括对象、块设备、和文件的存储服务,拥有高可靠、易于管理、开源等特点。使用Ceph作为存储架构,能够使得公司的互联网基础设施架构和公司员工个人的才能得到很大...
  • Je930502
  • Je930502
  • 2016年02月11日 10:44
  • 8434

玩转 Ceph 的正确姿势

http://www.cnblogs.com/me115/p/6366374.html 内容目录: Ceph 客户端Ceph 服务端总结参考 玩转 Ceph 的正...
  • zdy0_2004
  • zdy0_2004
  • 2017年02月05日 02:12
  • 483

Ceph基础概述

原文地址:http://docs.ceph.com/docs/master/architecture/ 一、存储数据         ceph存储集群从ceph客户端获取数据,客户端可以是ceph块存...
  • uj_mosquito
  • uj_mosquito
  • 2014年12月02日 17:39
  • 1404

Ceph和Swift的比较-为什么他们没有撕逼

Ceph and Swift: Whywe are not fighting                      原文:Ceph and Swift: Why weare not fight...
  • qq_32524177
  • qq_32524177
  • 2017年07月28日 09:15
  • 778
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ceph 数据均衡
举报原因:
原因补充:

(最多只允许输入30个字)