Ceph 纠删码介绍

最新推荐文章于 2024-05-13 17:14:30 发布
最新推荐文章于 2024-05-13 17:14:30 发布
阅读量146 收藏
点赞数
原文链接：http://www.cnblogs.com/allcloud/p/7382683.html
版权

http://ceph.org.cn/2016/08/01/ceph-%E7%BA%A0%E5%88%A0%E7%A0%81%E4%BB%8B%E7%BB%8D/

转载于:https://www.cnblogs.com/allcloud/p/7382683.html

weixin_30394981
关注
ceph纠删码性能测试
sinat_36835510的博客
12-23 900
ceph纠删码性能测试 https://github.com/ceph/ceph/tree/master/src/erasure-code/isa ceph RS、Clay、LRC编码计算性能测试 数据块6个，校验块3个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.432061s/1024000KB 数据块12个，校验块4个，文件大小1MB，迭代次数1000，吞吐率=总时间/总大小，如0.627676s/1024000KB ceph RS、Clay、LRC单节点损毁
ceph部署-纠删码
weixin_44257754的博客
08-01 593
ceph部署
Ceph性能测试：纠删码 vs. 三副本？.pdf
04-27
Ceph 在今天有多火就不⽤多说了吧。正如许多分布式存储那样，三副本的容量利利 用率始终是个问题，特别是对于海量⾮结构化数据和冷存储这些在意性价比的应用来说。相比之下，纠删码(Erasure Code)能够提供接近于本地 RAID 5/6 的有效磁盘空间，代价是牺牲了性能。纠删码在随机写⼊，特别是改写和重构(Rebuild)时产生的 I/O 惩罚较大，对应的集群网络流量比副本保护模式要大。 那么 Ceph 使⽤用纠删码在各种情况下的性能都⽐比三副本要低吗?答案是否定的。如果您 还⼼心存疑问，请看本⽂文分解。
Ceph的正确玩法之Ceph纠删码理论与实践
02-27 818
　　随着云计算业务的快速发展，国内外云计算企业的专利之争也愈发激烈。在云计算这样的技术领域，专利储备往往代表着企业最新的技术实力。本文将与大家共同分享云计算领域的最新技术与解决方案。 　　一、纠删码原理 ...
ceph纠删码精简配置ec4+2:1与ec4+2的切换
最新发布
system_zhazha的博客
05-13 1241
近期遇到项目，由于灵活配置，前期只有部分机器，后续扩容，想用ec4+2的纠删码，但前期只有3台机器，需要做精简ec。
分布式数据保护策略——多副本和纠删码怎么选？
了不起的云计算
06-19 1742
例如，如果知道4个数a、b、c、d，就可以通过2个不同的公式算出2个校验数据x和y，把6个数据一起保存起来，那么当a、b、c、d其中1个或2个数据丢失的话，就可以通过剩余的2个值和计算公式，反推出丢失的2个数据。以三副本为例，如上图，我们要保存A这个数据，并不是只保存单独这个数据，而是需要先将A这个数据拷贝成3份，然后分别放到1、3、4上，这个存储是随机的，下一个B数据有可能就放在节点1、2、4上了。双副本下，某个节点的一次数据写入，实际需要两个节点参与（写入两次），写惩罚为 2。
go分布式存储，rs纠删码
gitxuzan
09-22 776
go分布式存储，rs纠删码。
Ceph纠删码数据恢复工具
06-30
本套源码是依据Ceph纠删码解码思想，用C++实现一套Ceph数据恢复功能。 @1：适应于纠删码场景，不适应于副本场景 @2：适应于filestore，不适应于bluestore @3：本套源码不依赖任何Ceph源码，纯C++实现 @4：本套源码不...
浅谈Ceph纠删码
热门推荐
niuanxins的专栏
12-29 1万+
CEPH纠删码原理和应用
【⭐阅读推荐指数：5颗星★★★★★⭐】关于多副本纠删码，你想知道的全都在这里
谁吃薄荷糖
07-13 1万+
什么是分布式存储？ 介绍多副本和纠删码之前，我们先来说一下分布式存储。分布式存储是不同于传统集中式存储的的一种架构，很多时候也被称为SDS软件定义存储（Software Defined Storage）。 传统集中式存储采用控制器+硬盘柜的方式，通过冗余的双控制器提供数据管理和读写能力（也有超过2个控制器的多控存储，多见于高端存储），通过控制器自带的硬盘槽位或扩展硬盘柜提供存储空间，如下图。 集中式存储的硬盘数据保护多采用RAID技术，比如RAID5、RAID6、RAID10等，以后有机会我们
ceph集群性能测试结果
weixin_34088583的博客
03-05 873
对ceph存储集群（8台万兆服务器）从以下几个方面进行测试的结果 1、读写稳定性 无故障下的ceph集群性能完全满足业务对磁盘性能的需求。 测试数据结果如下表1-1,1-2 2、业务稳定性 ceph集群出现节点脱离的故障状态时，设置恢复QoS可以有效的保证业务正常运行无中断。 测试数据结果如下表2-1 3、节点故障恢复时间 节点故障的恢复时间依据故障时间段内的新增数据的大小决定，若...
EC纠删码理论介绍
手边笔记
04-17 1万+
文章目录纠删码理论介绍1 什么是EC？2 EC(4+2)编解码简介3 EC的数学原理4 EC存储的优缺点 纠删码理论介绍 1 什么是EC？ EC：纠删码-Erasure Code，是一种编码理论： EC是纠错码的一种，通过增加校验片，保证数据可靠性。 特性：将数据分成k个分片，生成m个校验片，假设n=k+m，在n个分片中任意选取k个分片，就可以将原始数据恢复回来。 EC不仅应用在存储领域，通信...
【存储】纠删码EC2+1，EC2+2，EC4+1，EC4+2:1分别是什么意思？
bandaoyu的note
04-25 3796
简介：纠删码技术主要是通过纠删码算法将原始的数据进行编码得到冗余，并将数据和冗余一并存储起来，以达到容错的目的。将n块原始的数据元素，通过计算（编码）得到m块冗余元素（校验块）。也就是n+m份数据通过DHT算法分别存储不同硬盘中。当其中任意的m块元素出错（包括原始数据和冗余数据）时，均可以通过对应的重构算法恢复出原来的n块数据。在这种方式下，空间的利用率约为 n/(n+m)，数据的可靠性由 m 值的大小决定，m越大可靠性越高。
Ceph 进阶系列（四）：Ceph的纠删码特性 EC（Erasure Code）
Yannick Jiang 的专栏
08-22 8946
从GitHub上Clone Ceph项目，我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的 一、EC（Erasure Code）是什么？ Ceph的纠删码特性EC：将写入的数据分成N份原始数据，通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过...
如何选择纠删码编码引擎 | 纠删码技术详解（上）
weixin_34226182的博客
04-13 612
作者介绍：徐祥曦，七牛云工程师，独立开发了多套高性能纠删码/再生码编码引擎。柳青，华中科技大学博士，研究方向为基于纠删码的分布式存储系统。 前言：随着数据的存储呈现出集中化（以分布式存储系统为基础的云存储系统）和移动化（互联网移动终端）的趋势，数据可靠性愈发引起大家的重视。集群所承载的数据量大大上升，但存储介质本身的可靠性进步却很小，这要求我们必须以更加经济有效的方式来保障数据安全。 副本与纠删...
Ceph数据保护（多副本和纠删码）
CSDN博客
09-19 2182
介绍多副本和纠删码之前，我们先来说一下分布式存储。分布式存储是不同于传统集中式存储的的一种架构，很多时候也被称为SDS软件定义存储（Software Defined Storage）。传统集中式存储采用控制器+硬盘柜的方式，通过冗余的双控制器提供数据管理和读写能力（也有超过2个控制器的多控存储，多见于高端存储），通过控制器自带的硬盘槽位或扩展硬盘柜提供存储空间，如下图。集中式存储的硬盘数据保护多采用RAID技术，比如RAID5、RAID6、RAID10等，以后有机会我们再单独介绍。
ceph纠删码总结
yysalad的专栏
03-19 1977
1.存储有两种常见数据冗余技术，多副本策略和纠删码策略 1）多副本策略 多副本策略即数据存储多个副本，每一个副本的数据完全一致。当数据丢失时，可以从其他副本进行数据恢复。这种方式可以很好地保证数据的完整性，但是会降低存储空间的利用率。 2）纠删码策略 纠删码策略主要是通过纠删码算法将原数据进行编码得到冗余数据，并将数据和冗余一并存储起来，以达到容错的目的。基本思...
【ceph的通用解决方案】-ceph双副本如何保证宕机数据的安全性
吴业亮的专栏
03-07 7428
作者：【吴业亮】 博客：https://wuyeliang.blog.csdn.net/ 开篇： 目前企业的业务场景多种多样，并非所有Ceph存储解决方案都是相同的，了解工作负载和容量要求对于设Ceph解决方案至关重要。Ceph可帮助企业通过统一的分布式集群提供对象存储、块存储或文件系统存储。在设计流程中，这些集群解决方案针对每项要求都进行了优化。该设计流程的首要因素包括 IOPS 或带宽要求、存...
纠删码(Erasure Code)的数学原理竟然这么简单
架构师技术联盟
09-02 1万+
超级计算机的一个必要组件是存储系统。小型超算用到的数据较少，磁盘阵列就够了，而大中型超算就要配备容量巨大的分布式存储系统。 分布式存储中经常遇到纠删码的概念：当冗余级别为...
Ceph纠删码数据恢复工具：纯C++实现的恢复方案
资源摘要信息:"本资源介绍了一套专门针对Ceph纠删码（Erasure Coding）数据恢复的C++源码工具。该工具旨在解决在纠删码场景中数据丢失或损坏的恢复问题，适用于filestore存储后端，而不适用于bluestore。源码本身是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值