ceph源码分析--纠删码写流程

最新推荐文章于 2023-11-03 16:00:30 发布
最新推荐文章于 2023-11-03 16:00:30 发布
阅读量1.6k 收藏
点赞数 3
分类专栏： Ceph 文章标签： ceph
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SY_Yu/article/details/80954685
版权

op出队列之后的代码流程

这里写图片描述

老虞面馆
关注
专栏目录
RedHat Ceph分布式存储-缓存与纠删码.pdf
10-13
RedHat Ceph分布式存储是为企业管理数据密集型应用程序提供的存储解决方案，它支持缓存分层和纠删码技术，旨在为用户提供新的灵活性和成本优势。 缓存分层（Cache Tiering）允许公司将活动的“热”数据移动到高性能...
ceph 代码分析 读_ceph源码阅读 erasure-code
weixin_34357833的博客
01-05 1011
1、ceph纠删码纠删码(Erasure Code)是比较流行的数据冗余的存储方法，将原始数据分成k个数据块(data chunk)，通过k个数据块计算出m个校验块(coding chunk)。把n=k+m个数据块保存在不同的节点，通过n中的任意k个块还原出原始数据。EC包含编码和解码两个过程。ceph中的EC编码是以插件的形式来提供的。EC编码有三个指标：空间利用率、数据可靠性和恢复效率。cep...
ceph纠删码_ec笔记
最新发布
ssbandjl的博客
11-03 416
【代码】ceph纠删码_ec笔记。
ceph源码阅读 erasure-code
大隐隐于野
10-19 531
纠删码(Erasure Code)是比较流行的数据冗余的存储方法，将原始数据分成k个数据块(data chunk)，通过k个数据块计算出m个校验块(coding chunk)。把n=k+m个数据块保存在不同的节点，通过n中的任意k个块还原出原始数据。EC包含编码和解码两个过程。ceph中的EC编码是以插件的形式来提供的。EC编码有三个指标：空间利用率、数据可靠性和恢复效率。ceph提供以下几种纠删码插件：clay(coupled-layer)、jerasure、lrc、shec、isa。
ceph纠删码解码源码分析
分布式存储
06-06 459
本文从ceph源码角度详细讲解ceph纠删码机制中解码部分的逻辑以及实现过程。
ceph中纠删码如何读写数据
Be_Nice的博客
06-06 1474
在介绍纠删码读写之前，我们先看下ceph处理IO的流程，借鉴别人提供的图片如下： 从该图我们可以看到从前端的业务文件到数据保存到存储硬盘上的过程，步骤如下： 1. File->Object映射 RADOS中需要配置object的大小，一般会设置为2M到4M的大小。当用户写入数据文件时，首先会根据object的大小值将file进行切分。如果file的大小不足object的大小，则直接按照原大小映射到一个object中；如果file的大小大于object大小，则file会被切分若干个完整大小的.
Ceph----纠删码
laiyuhua120的博客
10-08 322
磁盘的空间利用率高实现更复杂性能更差。
Ceph性能测试：纠删码 vs. 三副本？.pdf
04-27
纠删码在随机写⼊，特别是改写和重构(Rebuild)时产生的 I/O 惩罚较大，对应的集群网络流量比副本保护模式要大。 那么 Ceph 使⽤用纠删码在各种情况下的性能都⽐比三副本要低吗?答案是否定的。如果您 还⼼心存疑问，...
ceph源码 io读写流程分析串讲
06-30
由于项目需要，最近深入细致的了解了ceph的读写流程，并且跟项目组做了一个代码串讲。附上串讲用的ppt。 个人认为，理解了ceph的io流水线模型，是理解整个io读写流程的关键。
Ceph纠删码数据恢复工具
06-30
本套源码是依据Ceph纠删码解码思想，用C++实现一套Ceph数据恢复功能。 @1：适应于纠删码场景，不适应于副本场景 @2：适应于filestore，不适应于bluestore @3：本套源码不依赖任何Ceph源码，纯C++实现 @4：本套源码不...
erasure code纠删码
07-20
erasure code可以认为是RAID的通式，任何RAID都可以转换为特定的erasure code。在传统的RAID中，仅支持少量的磁盘分布，当系统中存在多个分发点和多节点时，RAID将无法满足需求。比如RAID5只支持一个盘失效，即使是RAID6也仅支持两个盘失效，所以支持多个盘失效的算法也就是erasure code是解决这一问题的办法。
【批量下载】ceph-iscsi-tools-2.1-3.el7cp.noarch等.zip
04-24
标题中的“ceph-iscsi-tools-2.1-3.el7cp.noarch”是指Ceph iSCSI工具的特定版本，适用于Red Hat Enterprise Linux 7的兼容版本（el7cp）。Ceph是一个开源的分布式存储系统，而iSCSI（Internet Small Computer ...
【ceph的通用解决方案】-ceph纠删码理论与实践
吴业亮的专栏
03-07 3673
作者：【吴业亮】 博客：https://wuyeliang.blog.csdn.net/ 开篇： 目前企业的业务场景多种多样，并非所有Ceph存储解决方案都是相同的，了解工作负载和容量要求对于设Ceph解决方案至关重要。Ceph可帮助企业通过统一的分布式集群提供对象存储、块存储或文件系统存储。在设计流程中，这些集群解决方案针对每项要求都进行了优化。该设计流程的首要因素包括 IOPS 或带宽要求、存...
ceph之纠删码
weixin_33973600的博客
09-08 442
转自：http://m.blog.csdn.net/blog/skdkjxy/45695355 一、概述 　　按照误码控制的不同功能，可分为检错码、纠错码和纠删码等。 　　　　检错码仅具备识别错码功能 而无纠正错码功能； 　　　　纠错码不仅具备识别错码功能，同时具备纠正错码功能； 　　　　纠删码则不仅具备识别错码和纠正错码的功能，而且当错码超过纠正范围时可把无法纠错的信息删除。 　　比...
Ceph中纠删码的读写过程与缓存分层
晴天小猪在fighting
06-04 5202
之前一直在关注Ceph读写过程与修复，现将之前看到的内容记录下来。欢迎探讨。 读写过程 上图大体可以表示从文件到保存在存储实体上的过程，详细步骤如下：   1.       RADOS中需要配置Object Size的值，也就是每个Object大小的最大值，一般情况下会设置为2M到4M。当一个file存进ceph中时，会根据Object Size将file进行切分。若file的
浅谈Ceph纠删码
热门推荐
niuanxins的专栏
12-29 1万+
CEPH纠删码原理和应用
ceph 纠删码解读和实践
zxycyj1989的博客
05-16 2886
原理介绍 原理我们就直接引用网上一篇文章： 参考：Ceph的正确玩法之Ceph纠删码理论与实践 纠删码（Erasure Coding，EC）是一种编码容错技术，最早是在通信行业解决部分数据在传输中的损耗问题。其基本原理就是把传输的信号分段，加入一定的校验再让各段间发生相互关联，即使在传输过程中丢失部分信号，接收端仍然能通过算法将完整的信息计算出来。在数据存储中，纠删码将数据分割成片段，把冗余数据块扩展和编码，并将其存储在不同的位置，比如磁盘、存储节点或者其他地理位置。如果需要严格区分，实际上按照误码控制的不
ceph的压缩、加密、纠删码
lucyLee的博客
06-13 5888
ceph的压缩、加密、纠删码 ① 压缩（Compression ） 对ceph压缩的一写描述： （1）The Ceph Object Gateway supports server-side compression of uploaded objects, using any of Ceph’s existing compression plugins.CEPH对象网关支持使用Ceph现有的...
ceph 纠删码使用
08-13
Ceph是一种开源的分布式存储系统，它支持使用纠删码进行数据保护。在Ceph中，纠删码被用来替代传统的多副本技术，以降低存储开销。引用提到，纠删码技术因其低存储开销的特点受到越来越多的关注。Ceph使用的纠删码方案是RS编码（Reed-Solomon code）。RS编码是一种被广泛使用的纠删码方案，它将k个数据块按照一定的编码规则生成m个校验块，通过任意的k个编码块都能重建出所有数据。以RS(4, 2)编码为例，它只需要占用1.5倍的存储空间，就可以提供与三副本技术相同的容错能力。因此，Ceph使用纠删码来实现数据的冗余和容错，以提供高可用性和数据保护。引用中提到，Ceph的纠删码实现是基于C语言接口的范德蒙行列式编码。具体来说，在Ceph中，使用jerasure_encode函数调用jerasure库中的jerasure_matrix_encode函数进行编码处理。jerasure_matrix_encode函数是ErasureCodeJerasureReedSolomonVandermonde类中的一个方法，它实现了纠删码的编码过程。通过使用纠删码，Ceph可以降低存储开销，并提供数据的高可用性和可靠性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [纠删码项目总结](https://blog.csdn.net/tianyi520jx/article/details/126965871)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [Ceph纠删码编码源码分析](https://blog.csdn.net/wqxl01/article/details/131045453)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值