ceph纠删码性能测试

最新推荐文章于 2024-03-30 16:16:18 发布
最新推荐文章于 2024-03-30 16:16:18 发布
阅读量790 收藏
点赞数
文章标签： ceph ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_36835510/article/details/122112915
版权

ceph纠删码性能测试

https://github.com/ceph/ceph/tree/master/src/erasure-code/isa

ceph RS、Clay、LRC编码计算性能测试

数据块6个，校验块3个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.432061s/1024000KB

数据块12个，校验块4个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.627676s/1024000KB

ceph RS、Clay、LRC单节点损毁解码计算性能测试

数据块6个，校验块3个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.787861 s/1024000KB

数据块12个，校验块4个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如4.067932s/1024000KB

ceph RS、Clay、LRC两节点损毁解码计算性能测试

数据块6个，校验块3个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.819771s/1024000KB

数据块12个，校验块4个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如4.768190s/1024000KB

sinat_36835510
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ceph的纠删码特性 EC（Erasure Code）代码流程
大隐隐于野
08-31 398
把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。SHEC编码方式为SHEC（K，M，L），其中K代表原始数据块data chunk的数量，M代表校验块parity chunk的数量，L代表计算校验块parity chunk时需要的原始数据块data chunk的数量。其最大允许失效的数据块为：ML/K。以SHEC（10，6，5）为例，其最大允许失效的数据块为：M(6) * L(5)/ K(10 ) = 3，且当一个数据块失效时，只读取5个数据块就可以恢复。
Ceph性能测试：纠删码 vs. 三副本？.pdf
04-27
Ceph 在今天有多火就不⽤多说了吧。正如许多分布式存储那样，三副本的容量利利 用率始终是个问题，特别是对于海量⾮结构化数据和冷存储这些在意性价比的应用来说。相比之下，纠删码(Erasure Code)能够提供接近于本地 RAID 5/6 的有效磁盘空间，代价是牺牲了性能。纠删码在随机写⼊，特别是改写和重构(Rebuild)时产生的 I/O 惩罚较大，对应的集群网络流量比副本保护模式要大。 那么 Ceph 使⽤用纠删码在各种情况下的性能都⽐比三副本要低吗?答案是否定的。如果您 还⼼心存疑问，请看本⽂文分解。
总结：在分布式存储系统中保障数据的可靠性
最新发布
qq_53280985的博客
03-30 1471
随着数据规模的增加，数据中心的节点故障数量急剧增加。为了保障数据的可靠性，大型数据存储企业通常采用3副本的方式对数据进行备份，然而3副本的开销巨大，并不是一种经济的方式。为此最典型的方法是采用纠删码来保证系统的可靠性。
网易数帆 Ceph EC 纠删码在线存储性能优化实践
NetEaseResearch的博客
01-12 1万+
写在前面 术语说明 EC 的全称是Erasure Code——纠删码，是一种编码理论，EC 介绍链接 如下是和本文档相关的一些术语： EC 策略：一般就是我们常说的(K+M)，K 个数据块，M 个校验块 条带（stripe）：和磁盘阵列中的条带类似，是把连续的数据分割成相同大小的数据块，把每块数据分别写入到 Ceph EC 中的不同磁盘上，EC 会针对这些数据块计算校验块，1 个条带包含多数据块和多个校验块，数据块的个数一般称为 K，校验块的个数称为 M，每个条带包含 (K + M) 块 Ceph中 其他
Ceph 进阶系列（四）：Ceph的纠删码特性 EC（Erasure Code）
Yannick Jiang 的专栏
08-22 8392
从GitHub上Clone Ceph项目，我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的 一、EC（Erasure Code）是什么？ Ceph的纠删码特性EC：将写入的数据分成N份原始数据，通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过...
Ceph的正确玩法之Ceph纠删码理论与实践
02-27 744
　　随着云计算业务的快速发展，国内外云计算企业的专利之争也愈发激烈。在云计算这样的技术领域，专利储备往往代表着企业最新的技术实力。本文将与大家共同分享云计算领域的最新技术与解决方案。 　　一、纠删码原理 ...
Erasure Coding（纠删码）深入分析
算法之道
06-02 4383
原文地址：Coding（纠删码）深入分析" style="text-decoration:none; color:rgb(42,112,155)">Erasure Coding（纠删码）深入分析作者：Eric雪菲 1.前言 Swift升级到2.0大版本后宣称开始支持纠删码，这其实是一个很有意义的特性，主要是能够在一定程度上解决3副本空间浪费太多的问题。因为3副本这一点是swift推
Ceph纠删码数据恢复工具
06-30
本套源码是依据Ceph纠删码解码思想，用C++实现一套Ceph数据恢复功能。 @1：适应于纠删码场景，不适应于副本场景 @2：适应于filestore，不适应于bluestore @3：本套源码不依赖任何Ceph源码，纯C++实现 @4：本套源码不...
GlusterFS与Ceph 性能测试报告
09-17
GlusterFS与Ceph是不一样的存贮系统，GlusterFS更加针对分布式...而同时，市场上流传着各类关于GlusterFS与Ceph对比的各类性能数据，实际情况倒底如可，我们不得而知，但我确实想知道真实的情况如何，或者大概的也行
RedHat Ceph分布式存储-缓存与纠删码.pdf
10-13
RedHat Ceph分布式存储-缓存与纠删码.pdf
Cephfs架构解读和测试分析
10-26
1. Cephfs架构介绍 2. cephfs测试工具介绍 希望对大家有帮助
RS纠删码性能分析实战
神技圈子的博客
03-12 4056
性能分析运行环境 CPU： Intel® Xeon® CPU E5-2603 0 @ 1.80GHz 内存：2049316 kB Linux版本：25~precise1-Ubuntu SMP Thu Jan 30 17:39:31 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux Reed_Sol_Van 基于原始范德蒙矩阵的rs纠删码，生成矩阵由范德蒙矩阵构造，将原...
ceph纠删码总结
yysalad的专栏
03-19 1932
1.存储有两种常见数据冗余技术，多副本策略和纠删码策略 1）多副本策略 多副本策略即数据存储多个副本，每一个副本的数据完全一致。当数据丢失时，可以从其他副本进行数据恢复。这种方式可以很好地保证数据的完整性，但是会降低存储空间的利用率。 2）纠删码策略 纠删码策略主要是通过纠删码算法将原数据进行编码得到冗余数据，并将数据和冗余一并存储起来，以达到容错的目的。基本思...
在高密服务器上对 CephFS 的性能与成本进行评估
NewTyun的博客
03-03 2304
新钛云服已为您服务1418天摘要CephFS 是建立在可靠自主分布式对象存储 (RADOS) 之上的网络文件系统。在 CERN，我们已经在几个运行 100 到 1000TB 的集群上展示了...
jerasure纠删
Huangxiang6的博客
05-27 770
编码引擎评判标准 以下几个关键指标可以对编码引擎性能进行分析： 1、高编/解码速度； 2、参数可配置； 3、编码速度稳定性； 4、代码简洁、稳定； 5、降低修复开销等。 一个可配置参数的编码引擎可以根据数据的冷热程度和数据重要程度选择不同的编码系数而不需要改动引擎本身，这大大降低了后续的开发和维护所需要的精力。比如可靠性要求高的数据可以选择更多冗余。数据恢复和更新代价高，因此常常针对只读数据，或者冷数据。 Erasure Code 参数说明 用法：./encoder ‘data/test.rar’ k
浅谈Ceph纠删码
niuanxins的专栏
12-29 1万+
CEPH纠删码原理和应用
LRC检验码算法
热门推荐
陈海峰的博客
09-05 1万+
最近由于工作需要，用到LRC算法，结果百度了一下实在是太混乱了，最后自己琢磨了一下终于和设备端对应上了。写个博客做个备份。 unsigned char CIDTestDlg::calc_lrc2(unsigned char* data, int data_len) { unsigned char lrc = 0; for (int i = 0; i {
ceph 代码分析 读_ceph源码阅读 erasure-code
weixin_34357833的博客
01-05 965
1、ceph纠删码纠删码(Erasure Code)是比较流行的数据冗余的存储方法，将原始数据分成k个数据块(data chunk)，通过k个数据块计算出m个校验块(coding chunk)。把n=k+m个数据块保存在不同的节点，通过n中的任意k个块还原出原始数据。EC包含编码和解码两个过程。ceph中的EC编码是以插件的形式来提供的。EC编码有三个指标：空间利用率、数据可靠性和恢复效率。cep...
一种新型的EC编码，LRC码，基于RS码的改进，特点介于RS和副本之间。
load2006的专栏
06-25 4309
传统的Reed-Solomon编码有个缺点是，单个分片的数据丢失就需要读取多个数据分片就行数据修复。 例如10:6的RS码，前10个分片有一个分片数据丢失，那么需要先从其他的分片中至少读取10个分片数据才能计算出丢失的数据。 LRC（locally repairable codes）是基于RS编码改进，可以有效减少数据修复时的系统负载。 当然，在相同数据可靠性的情况下，LR占用的物理空间
ceph 纠删码使用
08-13
Ceph是一种开源的分布式存储系统，它支持使用纠删码进行数据保护。在Ceph中，纠删码被用来替代传统的多副本技术，以降低存储开销。引用提到，纠删码技术因其低存储开销的特点受到越来越多的关注。Ceph使用的纠删码方案是RS编码（Reed-Solomon code）。RS编码是一种被广泛使用的纠删码方案，它将k个数据块按照一定的编码规则生成m个校验块，通过任意的k个编码块都能重建出所有数据。以RS(4, 2)编码为例，它只需要占用1.5倍的存储空间，就可以提供与三副本技术相同的容错能力。因此，Ceph使用纠删码来实现数据的冗余和容错，以提供高可用性和数据保护。引用中提到，Ceph的纠删码实现是基于C语言接口的范德蒙行列式编码。具体来说，在Ceph中，使用jerasure_encode函数调用jerasure库中的jerasure_matrix_encode函数进行编码处理。jerasure_matrix_encode函数是ErasureCodeJerasureReedSolomonVandermonde类中的一个方法，它实现了纠删码的编码过程。通过使用纠删码，Ceph可以降低存储开销，并提供数据的高可用性和可靠性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [纠删码项目总结](https://blog.csdn.net/tianyi520jx/article/details/126965871)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [Ceph纠删码编码源码分析](https://blog.csdn.net/wqxl01/article/details/131045453)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值