Ceph IO 函数走读

最新推荐文章于 2023-04-13 23:26:53 发布
最新推荐文章于 2023-04-13 23:26:53 发布
阅读量297 收藏
点赞数
分类专栏： 分布式存储 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/invaders/article/details/120548829
版权

Ceph代码梳理
OSD::ShardedOpWQ::_process
OSD::dequeue_op

PrimaryLogPG::do_request
PrimaryLogPG::do_op
PrimaryLogPG::execute_ctx
PrimaryLogPG::issue_repop

ECBackend::submit_transaction
ECBackend::start_rmw
ECBackend::check_ops
ECBackend::check_ops
ECBackend::try_reads_to_commit
ECBackend::handle_sub_write

BlueStore::queue_transactions
BlueStore::_txc_add_transaction
BlueStore::_write
BlueStore::_do_alloc_write

invaders
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ceph源码 io读写流程分析串讲
06-30
由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。 个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。
Ceph纠删码解码源码分析
记录
06-06 416
本文从代码角度详细分析ceph 14.2.22关于纠删码解码的流程细节
Ceph 数据读写过程
lhc121386的博客
02-01 2777
Ceph的读/写操作采用Primary-Replica模型，客户端只向Object所对应OSD set的Primary OSD发起读/写请求，这保证了数据的强一致性。当Primary OSD收到Object的写请求时，它负责把数据发送给其他副本，只有这个数据被保存在所有的OSD上时，Primary OSD才应答Object的写请求，这保证了副本的一致性。 写入数据 这里以Object写入为例，假定一个PG被映射到3个OSD上。Object写入流程如图所示。 当某个客户端需要向Ceph集群写入一个File时
ceph学习之路---osd down，osd启动加载pg断言解决方法
yysalad的专栏
07-05 1759
osd 中数据出问题时，可能会出现以下两个断言： 第一种情况： 0> 2019-06-20 14:58:16.760629 7f557da58700 -1 os/FileStore.cc: In function 'virtual int FileStore::read(coll_t, const ghobject_t&, uint64_t, size_t, ceph:...
ceph osd端处理回调相关流程
qq_38461724的博客
07-17 293
本文主要介绍on_applied、on_commit、on_applied_sync、on_all_commit、on_all_applied在数据IO处理流程中的回调代码梳理。写的比较简单，不过关键点都已经整理。以filestore为例： OSD端详细程分析：https://blog.51cto.com/wendashuai/2497104 主端： PrimaryLogPG::execute_ctx()->issue_repop(repop, ctx)->pgbackend->s
设置norecover不生效问题分析
chuxinxia8434的博客
11-22 561
背景 在测试的过程中发现，当给集群执行了ceph osd set norecover，ceph -s仍然能够看到集群中有recovery io持续几个小时。 问题复现 Ceph -s命令可以发现：当client io较大的时候，才会出现recovery io。如果没有client i...
ceph IO latency break down
12-14
Ceph IO 延迟细分 Ceph 作为一个分布式存储系统，其 IO 流水线非常长，了解 IO 延迟的每个阶段对系统性能的影响非常重要。在本文中，我们将逐步拆解 Ceph IO 延迟的每个阶段，并结合源码对每个阶段进行详细分析。 ...
Ceph IO 路径和性能分析-王豪迈
09-21
独立开源软件开发者王豪迈分享《Ceph IO 路径和性能分析》
ceph安装部署使用文档
最新发布
12-24
《Ceph安装部署使用文档》 Ceph是一个开源的分布式存储系统，提供对象存储、块存储和文件存储三种服务，广泛应用于云计算、大数据和高性能计算领域。本文档将详细介绍Ceph在不同节点上的安装、配置及管理过程。 一...
ceph分布式存储解说
04-05
文件存储，如Ceph的CephFS和GlusterFS，提供了类似于传统文件系统的访问方式，支持并行化访问和冗余机制，适合存储非结构化的数据，如文本文件、图像和视频。GlusterFS是一个开源的分布式文件系统，通过网络连接廉价...
Ceph数据流分析
slhywll的博客
04-13 386
Ceph数据流分析
Ceph性能瓶颈分析与优化(混合盘篇)
NetEaseResearch的博客
07-14 3833
背景 企业级存储中，SSD+HDD的混合盘是一种典型应用场景，可以兼顾成本、性能与容量。 但网易数帆存储团队经过测试(4k随机写)发现，加了NVMe SSD做Ceph的WAL和DB后，性能提升不足一倍且NVMe盘性能余量较大。所以我们希望通过瓶颈分析，探讨能够进一步提升性能的优化方案。 测试环境 Ceph性能分析一般先用单OSD来分析，这样可以屏蔽很多方面的干扰。 我们的测试环境如下所示，1个OSD： usrname@hostname:~/cluster$ sudo ceph osd tree ID CLA
关于Ceph的EC实现rollback的两个问题
changtao381的专栏
05-19 4545
今天又人问了我两个关于EC的问题，这是个比较好的问题，就在这里写篇博客解答，希望对大家理解EC有帮助。1）EC 在 remove object的时候，考虑到回滚，不是马上删除，那么什么时刻真正删除？ 2） 回滚机制如何触发？ 问题1：什么时候真正删除对象？ 字段 min_last_complete_ondisk 用来记录 该PG的所有 osd中最小提交的版本号，也就是小于该版本的rollback对
Ceph 学习——OSD读写流程与源码分析（一）
热门推荐
SEU_PAN的博客
12-08 1万+
消息从客户端发送而来，之前几节介绍了 客户端下 对象存储、块存储库的实现以及他们在客户端下API请求的发送过程（Ceph学习——Librados与Osdc实现源码解析 、 Ceph学习——客户端读写操作分析 、 Ceph学习——Librbd块存储库与RBD读写流程源码分析）。当请求被封装后，通过消息发送模块（Ceph学习——Ceph网络通信机制与源码分析）将请求及其相关信息发送到服务端实现真正的
Ceph 进阶系列（四）：Ceph的纠删码特性 EC（Erasure Code）
Yannick Jiang 的专栏
08-22 8450
从GitHub上Clone Ceph项目，我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的 一、EC（Erasure Code）是什么？ Ceph的纠删码特性EC：将写入的数据分成N份原始数据，通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过...
Ceph 读写路径源代码分析（1）
changtao381的专栏
12-03 7518
dispatch_op_fast 1) 首先调用函数op_required_epoch(op)， 从OpRequest中获取 epoch 比较msg的 epoch 的比较 2）msg_epoch > osdmap->get_epoch() 如果 msg 带的epoch 大于osd 最新的epoch，则调用更加自己的epoch，首先检查该请求的链接是否存在，如果不存在，就
ceph bluestore源码分析：非对齐写逻辑
天行健，地势坤
05-10 3218
文章目录环境原理说明总结 环境 ceph:12.2.1 场景：ec 2+1 部署cephfs，执行如右写模式:dd if=/dev/zero of=/xxx/cephfs bs=6K count=4 oflag=direct 关键配置： bluestore_min_alloc_size_hdd = 65536 bluestore分配空间的最小粒度 单位：B bdev_block_size = 40...
bluestore 流程解析
04-26 858
1.整体流程 图片发自简书App 图中展示了流程中的关键路径及涉及到的线程与队列。下面详细阐述工作流程。 重点关注：状态切换；kv存储数据的GC时机 1.1 queue_transactions queue_transactions是store统一的入口，各个存储引擎如filestore、kvstore、bluestore都得实现这个入口。在queue_transa...
ceph rbd快照原理解析
letterwuyu的专栏
04-17 6142
http://www.sysnote.org/2016/02/28/ceph-rbd-snap/前段时间一直在研究ceph的快照以及其所涉及的故障恢复逻辑，ceph在这部分的实现挺精妙的，虽然也是基于COW实现的，但是细细品来，其在快照的元数据管理以及父子关系的维护上有独到之处，本文将详细阐述快照的实现原理以及快照对象在恢复时如何至关重要的作用。1.rbd快照的直观理解ceph的rbd卷可用做多次...
ceph io读写测试
05-19
Ceph是一个分布式存储系统，它提供了高可用性、高性能、高扩展性的对象存储和块存储服务。在进行Ceph IO读写测试时，我们通常会使用一些工具来模拟读写操作并收集性能数据，例如： 1. fio：是一种流行的IO基准测试工具，它可以模拟各种读写模式和IO负载，并生成各种性能报告和统计数据。 2. rados bench：是Ceph提供的一个测试工具，用于测试RADOS对象存储性能。它可以测试不同大小、数量和随机性的对象，以及不同的并发访问模式。 3. ceph-bench-tool：是Ceph提供的另一个测试工具，用于测试Ceph集群的全局性能。它可以测试各种读写、复制和恢复操作，并生成各种性能报告和统计数据。 这些测试工具可以帮助我们了解Ceph集群的性能特性、瓶颈和优化空间，从而更好地设计和优化Ceph存储系统。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值