ceph 数据到osd的映射过程

最新推荐文章于 2022-10-19 01:01:14 发布

jhk9898

最新推荐文章于 2022-10-19 01:01:14 发布

阅读量222

点赞数

文章标签： docker

本文链接：https://blog.csdn.net/jhk9898/article/details/125184619

版权

上一次写东西是去年3月份,

最近在看ceph设计原理与实现,有点费劲. 刚看完讲PG的内容把理解的东西在这里记录下.

开始..

数据按照固定大小切割成对象.每个对象有唯一的object id.后续的查找就是根据这个object id(扁平的寻址空间)

对object id进行hash等操作得到pgid, pgid也是全局唯一的.pgid对应到pg

ceph的存储资源通过资源池来进行管理 pool,每个pool中包含指定数量的pg

不同的pool中可能有相同pgid的pg 以此实现数据的备份.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jhk9898

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ceph 数据到osd的映射过程

ceph
复制链接

扫一扫

ceph根据obj找到对应pg和osd

闻到你的人的博客

05-26

578

根据obj找到对应pg和osd 查找所在池 radosgw-admin object stat --object=objectname --bucket=bucketname | grep pool 根据信息进入所在数据池查找pg名称 ceph osd map poolname objectname -c /etc/ceph/data-cluster/ceph.conf 根据pg查看osd ceph pg map pgname -c /etc/ceph/data-cluster/ceph.conf 查

ceph中对象和osd的匹配

lv0918_qian的博客

10-20

272

1 首先建立一个测试文件。 #echo "Hello Ceph, You are Awesome like MJ" > /tmp/helloceph #ceph osd pool create HPC_Pool 128 128 2 将生成的测试文件存入该池中并确认文件在池中： #rados -p HPC_Pool put object1 /tmp/helloceph #rados -p HPC_Pool ls object1 3 在c

参与评论您还未登录，请先登录后发表或查看评论

osd踢出集群并添加集群

m0_51832408的博客

06-13

474

踢盘

ceph分布式存储

u010864567的博客

05-03

6350

分布式存储概述数据分为元数据和数据元数据即是文件的属性信息，元数据就是有一种路由机制，即当客户端或者应用程序产生的客户端数据被写入到分布式存储系统的时候，会有一个服务(NameNode)提供文件元数据的路由功能，即告诉应用程序去哪个服务器去请求文件内容，然后再有(DataNode)提供数据的读写请求及数据的高可用功能。传统的分布式存块存储：需要格式化，将文件保存到磁盘上文件存储：提供数据存储的接口，是由操作系统针对块存储的应用，即由操作系统提供存储接口，应用程序通过调用操作系统将文件保

【ceph】CRUSH算法的原理与实现|File-＞Object-＞PG-＞OSD的映射方法

bandaoyu的note

12-21

2479

https://zhuanlan.zhihu.com/p/59317425 0. 前言本文主要面向对Ceph及分布式系统有一定了解基础的同学；新入坑的读者可以先从Ceph文档官网获取基本信息。 1. 背景在分布式存储系统中，数据的位置存放规则一直是研究的热门话题之一。一般来说，系统中所有角色（Clients、Servers）需要有一个统一的数据寻址算法Locator，满足： Locator(ID) -> [Device_1, Device_2, Device_3, ...] 其中输

ceph数据的分布及存储

09-13

在 Ceph 中，每个 object 都会被映射到一个 Placement Group（PG），PG 是一个逻辑概念，用于更好地分配和定位数据。数据的分配和迁移以 PG 为单位，可以避免 object 单位过小的问题。 Object 到 PG 的映射 Object...

ceph数据读写原理

08-24

CRUSH (Controlled Replication Under Scalable Hashing) 算法是一种非中心化的数据分布算法，它根据特定的规则集 (rule set) 来决定数据应该被存储到哪些 OSD 上。具体步骤如下： 1. **计算OID (Object ID)**：...

Ceph官网 [中文翻译] 文档

04-10

Ceph Monitor维护着展示集群状态的各种图表，包括监视器映射、OSD映射、归置组（PG）映射、和CRUSH映射。Ceph保存着发生在Monitors、OSD和PG上的每一次状态变更的历史信息（称为epoch）。 Ceph元数据服务器（MDS）...

ceph整体在线迁移自动化脚本

05-11

这个脚本可能涉及到了解和调整CRUSH（Controlled Replication Under Scalable Hashing）映射，以确保数据在迁移过程中能够正确地在新环境中重新分布。 2. "rule.sh"：在Ceph中，存储规则（Storage Class）定义了...

ceph 原理内容总结

05-23

对于每一个对象，Ceph使用(Pool, Object)的命名空间，并通过一系列映射最终确定该对象将被存储在哪一组OSD上。通过以上核心组件和技术，Ceph实现了高效、可靠的分布式存储解决方案，非常适合现代大规模数据中心的...

第二课 ceph基础学习-OSD扩容换盘和集群运维

QnHyn

10-19

2063

osd扩容还盘和集群运维

Ceph集群中指定OSD 创建 pool

Linuxprobe18的博客

10-17

711

在我们的ceph集群中，可能不只有sata盘或者ssd盘，有些时候服务器上同时插了ssd和sata盘用作osd，那如果我们按照默认的crush分布规则，那会使所有pg均分在ssd和sata盘上，造成sata盘的存储空间浪费和整个ceph集群的性能浪费，其实我们可以改变ceph的默认存储规则，来使那些io要求较高的数据存储在由ssd的osd组成的存储池上，将备份数据或者时效性要求不高的数据存储在由sata的osd组成的存储池上，既提高了性能，又可以减少较大数据量存储的成本。查看crush_rule为0。

Ceph 中Pool、PG、OSD的关系

专注基础架构领域

01-31

6022

Pool是存储对象的逻辑分区，它规定了数据冗余的类型和对应的副本分布策略；支持两种类型：副本（replicated）和纠删码（ Erasure Code）；目前我们公司内部使用的Pool都是副本类型（3副本）； PG（ placement group）是一个放置策略组，它是对象的集合，该集合里的所有对象都具有相同的放置策略；简单点说就是相同PG内的对象都会放到相同的硬盘上； PG是 ceph的...

ceph的pg,osd和pool之间的关系查找

Be_Nice的博客

07-23

4611

使用ceph时，经常碰到某个pg有问题，但是这个pg属于哪个存储池呢，到处翻命令，在此记录下常用的几个命令，用于查找pg os和pool之间的映射关系。 1. 通过pg查找所属的pool ceph pg dump |grep "^{poolid}\." #poolid通过ceph osd pool ls detail 可查看到 2. 通过pg查找pg ceph pg ls-by-pool {poolname} 或者 ceph pg ls {poolid} 3. 通过pg查看其所在的osd

ceph 存储池PG查看和PG存放OSD位置

mixboot

09-22

4257

1. 查看PG# vcfs pg stat # vcfs pg dump 2. pg映射OSD位置# vcfs pg map 1.1ff osdmap e99 pg 1.1ff (1.1ff) -> up [8,5] acting [8,5] #【8,5】指osd.8和osd.5 2副本，osd.8为主副本参考： 1.ceph运维常用指令

ceph osd的多种状态

oscube的博客

12-29

1388

acting set 通过crush算法计算出来的osd up set 正在提供读写服务的osd 当出现osd down掉或者发生数据迁移时actiong set会重新设置，把数据迁移到acting set中，而使用up set提供读写服务 peering完毕不意味着所有副本都具有相同数据，只是标明所有副本达成了一致（版本，主从关系等） ACTIVE 代表peering已经完毕，代表primary osd具有有效数据，pg可以提供读写服务 CLEAN 代表peering已经完毕，并且所有副本数据no str

ceph的数据存储之路(3) ----- pg选择osd的过程(crush 算法)

weixin_33843409的博客

11-17

1220

2019独角兽企业重金招聘Python工程师标准>>> ...

ceph如何确定文件存储的最终位置（OSD）

weixin_48225168的博客

02-02

3111

ceph同时提供对象存储、块存储、文件存储三种接口，但本质上其实是对象存储，也就是说一个rbd image实际上包含了多个对象（默认情况下是image_size/4M）。此处以块存储（RBD）为例进行演示，因为三种接口最终存储文件的操作单元都是对象，所以其他接口的方法类似：前提：在bloc接口下有一个池：pool1,创建另一个volume（rbd image）：vol1。因为这个vol1里其实包含了很多object，我们首先要查找object的位置： [root@rook-ceph-tools-6f5

[转]ceph rbd到OSD的数据映射

weixin_30677073的博客

02-13

221

[转自 From <https://my.oschina.net/u/2460844/blog/531686> ] 说明：先建立一个ceph集群，这个集群有3个monitor节点、多个OSD节点，然后这个上面有个存储池，每个存储中的对象都保留3个副本。这时如果发下一个写request则会经过如下步骤。 1. 客户端的使用在客户端使用rbd设备时，一般有两种方法。 ...

ceph中增加osd的命令