ceph源码分析之读写操作流程（1）

最新推荐文章于 2024-11-13 14:18:23 发布
最新推荐文章于 2024-11-13 14:18:23 发布
阅读量9.3k 收藏 18
点赞数 5
分类专栏： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ywy463726588/article/details/42676493
版权
本文深入剖析Ceph存储集群中OSD（对象存储 daemon）的数据读写操作流程，从OSD、PG、ObjectStore到Journal的层次结构，详细解释了消息队列和线程池的工作机制，以及读写操作在不同层级的执行路径。
摘要由CSDN通过智能技术生成

ceph是一个存储集群，它拥有ceph-mon，ceph-mds和ceph-osd三种进程，本文主要从源码层面分析ceph-osd中的数据读写操作流程。

ceph-osd数据层级是这样的：


最上层：OSD，OSDServer

第二层：PG（具体实现类是ReplicatedPG）

第三层：ObjectStore(具体实现类是FileStore类，该类中有成员变量FileJournal类)

最底层：具体的Journal device或者file  （即系统读写函数）


介绍一下FileJournal，FileStore之间关系


ObjectStore定义了一个对象存储的抽象类

JournalingObjectStore继承ObjectStore定义了一个带有Journal的对象存储的类

Filestore最终继承成为一个实际工作的数据存储的类。

在JournalingObjectStore中定义了两个重要的成员变量：

最低0.47元/天 解锁文章
ceph源码分析之读写操作流程（2）
ywy463726588的专栏
01-13 6001
上一篇介绍了ceph存储在上两层的消息逻辑，这一篇主要介绍一下读写操作在底两层的流程。下图是上一篇消息流程的一个总结。 在ceph中，读写操作由于分布式存储的原因，故走了不同流程。 对于读操作而言： 1.客户端直接计算出存储数据所属于的主osd，直接给主osd上发送消息。 2.主osd收到消息后，可以调用Filestore直接读取处在底层文件系统中的主pg里面的内容然后
【ceph】CEPH源码解析：读写流程
小鱼菜鸟的博客
07-22 1300
相同过程 Ceph的读/写操作采用Primary-Replica模型，客户端只向Object所对应OSD set的Primary OSD发起读/写请求，这保证了数据的强一致性。当Primary OSD收到Object的写请求时，它负责把数据发送给其他副本，只有这个数据被保存在所有的OSD上时，Primary OSD才应答Object的写请求，这保证了副...
ceph osd写流程
yueyingshaqiu01的博客
07-19 299
ceph源码 io读写流程分析串讲
06-30
由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。 个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。
Ceph的数据读写流程
最新发布
zuopiezia的博客
11-13 370
因此， Ceph可以分两次向客户端进行确认。当某个客户端需要向Ceph集群写入一个File时，首先需要在本地完成前面所述的寻址流程，将File变为一个Object，然后找出存储该Object的一组共3个OSD，这3个OSD具有各自不同的序号，序号最靠前的那个OSD就是这一组中的Primary OSD，而后两个则依次Secondary OSD和Tertiary OSD。从OSD的角度来看，由于同一个OSD在不同的PG中的角色不同，因此，其工作压力也可以被尽可能均匀地分担，从而避免单个OSD变成性能瓶颈。
ceph 代码分析 读_ceph源码分析之读写操作流程(2)
weixin_29001423的博客
12-23 287
ceph源码分析之读写操作流程(2)上一篇介绍了ceph存储在上两层的消息逻辑，这一篇主要介绍一下读写操作在底两层的流程。下图是上一篇消息流程的一个总结。上在ceph中，读写操作由于分布式存储的原因，故走了不同流程。对于读操作而言：1.客户端直接计算出存储数据所属于的主osd，直接给主osd上发送消息。2.主osd收到消息后，可以调用Filestore直接读取处在底层文件系统中的主pg里面的内容然...
ceph读写流程
05-16
消息封装 在OSD上发送和接收信息。有两类： 1.cluster_messenger -与其它OSDs和monitors沟通 2.client_messenger － 与客户端沟通 消息调度 Dispatcher类，主要负责消息分类 工作队列 1. OpWQ: 处理ops（从客户端）和sub ops（从其他的OSD）。运行在op_tp线程池。 2. PeeringWQ: 处理peering任务，运行在op_tp线程池。 3. CommandWQ:处理cmd命令，运行在command_tp。 4. RecoveryWQ: 数据修复，运行在recovery_tp。 5. SnapTrimWQ: 快照相关，运行在disk_tp。 6. ScrubWQ: scrub，运行在disk_tp。 7. ScrubFinalizeWQ: scrub，运行在disk_tp。 8. RepScrubWQ: scrub，运行在disk_tp。 9. RemoveWQ: 删除旧的pg目录。运行在disk_tp。
ceph副本数据读写流程详解
大隐隐于野
09-13 641
本文会从更高一点的层次来介绍ceph数据的读写流程，并使用流程图的方式展示，便于阅读与理解。
Ceph 学习——OSD读写流程与源码分析（一）
SEU_PAN的博客
12-08 1万+
消息从客户端发送而来，之前几节介绍了 客户端下 对象存储、块存储库的实现以及他们在客户端下API请求的发送过程（Ceph学习——Librados与Osdc实现源码解析 、 Ceph学习——客户端读写操作分析 、 Ceph学习——Librbd块存储库与RBD读写流程源码分析）。当请求被封装后，通过消息发送模块（Ceph学习——Ceph网络通信机制与源码分析）将请求及其相关信息发送到服务端实现真正的
Ceph读写流程
weixin_33681778的博客
01-20 568
2019独角兽企业重金招聘Python工程师标准>>> ...
Ceph 数据读写过程
lhc121386的博客
02-01 2996
Ceph的读/写操作采用Primary-Replica模型，客户端只向Object所对应OSD set的Primary OSD发起读/写请求，这保证了数据的强一致性。当Primary OSD收到Object的写请求时，它负责把数据发送给其他副本，只有这个数据被保存在所有的OSD上时，Primary OSD才应答Object的写请求，这保证了副本的一致性。 写入数据 这里以Object写入为例，假定一个PG被映射到3个OSD上。Object写入流程如图所示。 当某个客户端需要向Ceph集群写入一个File时
【ceph学习】ceph如何进行数据的读写（1）
陶二先生的专栏
08-28 1245
一个op经过初始化create，设置参数，setxattr，后面交给ioctx进行operate，submit给osdc。下一篇，介绍osdc部分的处理。
ceph OSD写流程
weixin_43763259的博客
03-05 343
ceph 写流程（1）
shuningzhang的专栏
05-15 3329
前言 前面花了两篇博客的篇幅介绍了读流程。写流程和读流程相比，有大量的流程走向是公用的，我将这些公共的流程总结如下： 对于读流程而言，相对比较简单，这也是我们先介绍读流程的原因。先设置一个小目标，达成之后，对总体的大目标也有好处，相当于将大任务分解成了几个小任务。 从 execute_ctx 开始，读写流程开始严重的分叉，下图是读流程的流程图 写流程的三个侧面 写流程之所以比...
ceph分层机制中缓存读写流程源码分析
分布式存储
06-06 463
本文从ceph源码角度详细讲ceph cache tier机制中缓存层读写逻辑和实现过程
Ceph IO读写流程分析
xidianjiapei001的博客
02-23 1435
1 Ceph IO 读写流程 2 Ceph IO 流程及数据分布 2.1 Ceph IO 算法流程 2.2 Ceph IO 参考文献 https://www.jianshu.com/p/cc3ece850433
Ceph学习——Librbd块存储库与RBD读写流程源码分析
热门推荐
SEU_PAN的博客
12-06 1万+
Librbd 包含了rbd的相关操作，并发送给ImageRequestWQ类处理（队列），而后该类将其中的的请求发送给ImageRequest处理，ImageRequest将Image进行**分片（将一个 块 分解成 对象 进行处理，Ceph的底层本质还是对象存储）** 等操作后，将各个对象调用ObjectRequest类进行处理 ，每个ObjectRequest请求分别处理。
Ceph OSD处理客户端写操作处理流程
weixin_34380296的博客
03-25 638
2019独角兽企业重金招聘Python工程师标准>>> ...
ceph源码分析pdf
06-23
ceph源码分析pdf是一本关于ceph分布式文件系统的源代码深度剖析的著作，通过详细分析ceph系统的架构、实现、核心代码等方面，帮助读者深入理解ceph系统的设计思路和工作原理。 本书主要分为三个部分，第一部分介绍...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值