纠错码较副本优势与minio纠错码配置

最新推荐文章于 2024-08-23 15:48:51 发布
最新推荐文章于 2024-08-23 15:48:51 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： minio 文章标签： 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/firesharyourdeer/article/details/120955948
版权
本文探讨了纠错码与副本在数据存储中的优势，纠错码通过数据块+校验块方式确保数据安全，适合存储；副本提供额外的真实副本，利于计算。文章列举了EMC ECS、阿里云盘古集群以及Google GFS II的冗余度配置，并详细介绍了MinIO的默认奇偶校验设置，说明MinIO至少需要4块硬盘以实现分布式存储。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 优势

纠错码是什么,怎么保障数据不丢失

  1. 纠错码采用数据块+校验块方式进行存储,副本采用真实副本存储
  2. 纠错码更利于存储,副本更利于计算

2. 业界配置

  1. EMC对象存储系统ECS 12 + 4 和 10+2 冗余度分别为 1.33 、 1.2

  2. 阿里云盘古集群chunk存储 8+3 冗余度=1.375

  3. Google RS(6,3) in GFS II (Colossus)，

  4. minio ecs
    MinIO 默认情况下，具有标准存储类的对象的奇偶校验设置为 N/2，具有减少冗余存储类对象的对象的奇偶校验设置为 2,因此minio最少需要4块硬盘,来保证分布式存储。

    standard (string) set the parity count for default standard storage class e.g. “EC:4”
    设置默认标准存储类的奇偶校验计数
    rrs (string) set the parity count for reduced redundancy storage class e.g. “EC:2”

3. 参考链接
https://zhuanlan.zhihu.com/p/69374970

Nginx 反向代理 MinIO 及 ruoyi-vue-pro 配置 MinIO 详解
码农研究僧的博客
02-17 399
如何在ruoyi-vue-pro上使用minio上传文件，通过Ngnix再次转发路径 相关的minio推荐阅读： 云服务器中的MinIO 配置 HTTPS 过程（图文） 详细分析Java中的Minio类各API（附win配置安装）（全） 相关的Java阅读： java框架 零基础从入门到精通的学习路线 附开源项目面经等（超全） 【Java项目】实战CRUD的功能整理（持续更新） MinIO 是一个高性能的对象存储系统，支持 S3 API，通常用于构建私有云存储或分布式存储 为了让 MinIO 通过
《纠错码——原理与方法 （修订版）》
04-13
uvz格式，用unicornviewer0.12e阅读 王新梅，肖国镇编著，《纠错码—原理与方法》，西安电子科技大学出版社，2001年版 纠错码是门新的差错控制技术目前已广泛应用于各种通信系统和计算机 系统中．本书着重阅述纠错码的基本原理和各种编、译码方法。全书共分十三章 前九章介绍各种线性分组码（如循环码BCH码RS码不等保护能力码和代数 几何码等）的基本原理和必要的数学基础还介绍了各种实用的编译码技术和 方法。后四章介绍卷积码的基本概念以及代数译码和概率译码的方法和Turbo 码全书对材料的阐述循序渐进号；在内容上既有必要的数学基础又着重于物 理概念的解释；在每章之后均附有习题本书可作为高等学校本科生研究生的 教材和参考书也可作为从事通信计算机等领域中工程技术人员的参考书．
MinIO纠错码、分布式MinIO集群搭建及启动
qq_43403676的博客
05-22 2742
这篇文章讲解了分布式存储保证可靠性常用的方法，MinIO纠错码，分布式MinIO的优点，以及虚拟机上分布式MinIO集群的搭建，并使用Nginx负载均衡来代理MinIO集群访问。
Minio入门系列【2】纠删码
热门推荐
吴名氏的博客
09-14 6万+
Minio入门系列【2】纠删码
（minio学习过程2）纠错码
math_sz的博客
08-23 1304
（minio学习过程2）纠错码前言正文 前言 本文是根据在学习使用minio的过程中，对minio文档中Erasure Code学习结果，是根据本人学习理解思路产生，是为了方便日后复习所编写，可能有许多错误，希望在日后学习中可以逐步改善。（网络上优秀的博客与文档，本文只为自用） 正文 纠删码：主要依靠 源数据 和 校验块 ； 如果我们有n个源数据 我们可以通过计算得出 m个校验块，并把这n+m个块...
Minio 纠删码 （Erasure Coding）
zhnagruihua的博客
01-19 2522
minio 纠删码机制 数据冗余性保证
Minio开机启动配置文件配合Minio配置文件使用[/etc/default/minio]
10-28
Minio开机启动配置文件配合Minio配置文件使用[/etc/default/minio]
MinIO配置集群
u012533471的博客
11-26 1554
1、获取Minio https://dl.min.io/server/minio/release/linux-amd64/minio 2、修改主机名及hosts hostnamectl set-hostname minio1 hostnamectl set-hostname minio2 cat >> /etc/hosts <<EOF 192.168.100.20 minio1 192.168.100.21 minio2 EOF 3、系统最大文件数修改 挂在了2块硬盘，集群部署
minio文件服务器设置密码,Linux搭建minio集群
weixin_33460449的博客
08-11 3529
方式一：4台服务器(或虚拟机)搭建minio集群1.1、 准备4台服务器(或虚拟机)，并在对应机器上面创建/data{num}文件夹192.168.31.128/data0192.168.31.129/data1192.168.31.130/data2192.168.31.131/data3本集群由4台服务器构成(官方推荐集群最小4台服务器)，每个服务器上挂载两个磁盘目录，最小数据挂载点为4个。1...
minio纠删码原理
学亮编程手记
05-23 897
纠删码是一种数据保护技术，它可以通过数学计算，把原始数据分成多个数据块和校验块，然后分散存储在不同的磁盘上。这样，即使有一些磁盘损坏或丢失，也可以通过剩下的数据块和校验块恢复出原始数据。minio是一个对象存储服务，它使用了一种叫做Reed-Solomon code的纠删码算法，它可以把一个对象拆分成m份数据和n份奇偶校验块。例如，如果m=4，n=2，那么一个对象就会被拆分成4个数据块和2个奇偶校验块，一共6个块。
Minio入门系列【4】纠删码及分布式Minio集群环境搭建
记录知识、锤炼自我
10-17 8561
标题 标题
分布式数据保护策略——多副本和纠删码怎么选？
了不起的云计算
06-19 2076
例如，如果知道4个数a、b、c、d，就可以通过2个不同的公式算出2个校验数据x和y，把6个数据一起保存起来，那么当a、b、c、d其中1个或2个数据丢失的话，就可以通过剩余的2个值和计算公式，反推出丢失的2个数据。以三副本为例，如上图，我们要保存A这个数据，并不是只保存单独这个数据，而是需要先将A这个数据拷贝成3份，然后分别放到1、3、4上，这个存储是随机的，下一个B数据有可能就放在节点1、2、4上了。双副本下，某个节点的一次数据写入，实际需要两个节点参与（写入两次），写惩罚为 2。
minio
码农崛起
12-31 5885
一、竞品调研 当前的一些开源方案，这些存储方案里面可以分为两种： 一种是可以自定对象名称的； 另外一种是系统自动生成对象名称。 我们的对象名是自己生成的，里面包含了业务逻辑。 1、像 FS 就是国内大佬开源的一个分支存储，但是因为不能自定义文件名所以不合适。 2、还有像领英的 Ambry、MogileFS 其实都不能自定对象名的，所以是不合适的。 3、LeoFS 对我们来说不是很可控，所以不合适。 4、TFS 是淘宝开源的，但是目前已经很少有人维护它并且也不是很活跃，所以当时就没有考虑。
分布式文件系统及Minio配置及测试
Java_Zzm的博客
10-22 1585
分布式文件系统以及Minio配置及测试
MinIO如何实现高可用性和数据冗余
jakelihua
09-04 1921
MinIO通过分布式架构、数据复制和故障检测与修复等机制来实现高可用性和数据冗余。这使得MinIO成为一个可靠的对象存储服务，适用于各种需要高可用性和数据冗余的应用场景。通过使用MinIO，用户可以确保数据的安全性和可用性，同时提高系统的吞吐量和扩展性。随着数据存储需求的不断增长，MinIO将成为越来越重要的存储解决方案。
MinIO 企业级人工智能存储的数据和驱动器同等重要
MinIO
08-23 512
例如，使用 14 个数据驱动器和 2 个奇偶校验驱动器，一个对象只能承受 2 个驱动器损失，如果丢失了第 3 个驱动器，则将丢失数据。例如，在 10 个驱动器的 MinIO 部署中，标准存储类设置为 6 个数据和 4 个奇偶校验驱动器，发送到此 MinIO 部署的所有 PutObject 请求都将以 6 个数据和 4 个奇偶校验配置存储对象。现在，您可以做出最适合您的用例的权衡，即您可以通过在 MinIO 部署中正确设置存储类使用值来优化以获得更好的冗余或更好的存储使用率。标准存储类是部署的默认存储类。
Minio的安装和数据高可用原理
05-08 1265
介绍对象存储minio的安装和高可用原理
minio 完全操作手册与实践（全面简述）
manbuzhiwu的专栏
12-23 5905
本文研究重点归纳： 前言minio 概念： 安装部署指南（单机+docker） 分布式集群测试 异地（多中心）同步与备份 EC码的存储方式|数据损坏与恢复 SDK与API(官方提供) FUSE+S3
分布式文件存储Minio学习入门
Huathy的博客
02-16 3046
MinIO是一个开源的对象存储服务。兼容亚马逊S3云存储服务接口。适合存储大量非结构化数据，eg：图片、视频、日志文件、备份数据、容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几K到最大5T不等。MinIO是一个非常轻量的服务，可以很简单的和其他应用结合，类似NodeJS、Redis或者MySQL。
minio 纠错码怎么理解
最新发布
03-04
<think>好的，我需要解释MinIO的纠删码（Erasure Code）机制。首先，纠删码是什么？它是一种数据保护方法，通过将数据分块并生成冗余块，使得即使部分块丢失，原始数据也能恢复。MinIO使用这种方式来确保数据的可靠性和高可用性。 用户可能对纠删码的工作原理不太清楚，需要简单明了的解释。比如，分片和冗余块的概念，以及如何通过这些块恢复数据。可能需要用例子来说明，比如将文件分成多个数据块，并生成校验块，当某些块丢失时，剩下的块可以重建原始数据。 还要提到MinIO的具体实现，比如默认的EC:N配置，如EC:4:2，这表示4个数据块和2个校验块，总共6块，允许最多2块丢失而不影响数据恢复。需要解释不同配置对存储空间和容错能力的影响，比如EC:N中的N和M的意义。 此外，需要对比传统的副本机制，比如三副本，说明纠删码在存储效率上的优势，例如节省存储空间同时提供更高的容错能力。比如，EC:4:2需要50%的额外存储，而三副本需要200%，但都能容忍两个节点故障。 还要提到MinIO的部署要求，比如最少需要N+M个节点，并且这些节点需要分布在不同位置以防止单点故障。可能需要举例子说明不同场景下的配置选择，比如高容错需求时选择更多的校验块，或者存储效率优先时调整数据块和校验块的比例。 最后，总结纠删码的优势，如高可用性、存储效率、自动修复等，以及适用场景，比如大规模数据存储和云原生环境。同时，提醒用户根据实际需求选择合适的EC配置，权衡存储成本和容错能力。</think>以下是关于 **MinIO 纠删码（Erasure Coding，EC）** 的核心原理和实现逻辑的通俗解释： --- ### **一、纠删码的核心思想** 纠删码是一种**数据冗余技术**，将原始数据切割成多个分片（数据块），并生成额外的校验块。当部分分片丢失时，可通过剩余分片**重建完整数据**。 **核心优势**：相比传统副本机制（如三副本），纠删码能以更低存储成本实现更高容错能力。 --- ### **二、MinIO 中的纠删码实现** #### **1. 基本术语** - **数据块（Data Blocks）**：原始数据分割后的分片（数量记为 **N**）。 - **校验块（Parity Blocks）**：根据数据块计算生成的冗余分片（数量记为 **M**）。 - **EC 配置**：通常表示为 `EC:N+M`（例如 `EC:4+2`）。 - **总分片数** = `N + M` - **容错能力** = 允许最多丢失 **M** 个分片（数据块或校验块均可）。 #### **2. 典型示例：EC:4+2** - 原始文件被切分为 **4 个数据块**，生成 **2 个校验块**，共 **6 个分片**存储在不同节点。 - **容错能力**：允许任意 **2 个分片丢失**（无论数据块还是校验块），仍可通过剩余 4 个分片恢复数据。 - **存储开销**：额外存储成本为 `M/N = 2/4 = 50%`（对比三副本的 200% 开销）。 --- ### **三、关键特性** #### **1. 分片分布策略** - MinIO **强制要求分片跨节点/机架/数据中心分布**（通过部署拓扑定义），避免单点故障导致多分片丢失。 - 例如：`EC:4+2` 需至少 **6 个节点**，且每个分片存储在不同物理节点。 #### **2. 自动修复机制** - 当检测到分片丢失（如节点宕机）时，MinIO 自动触发修复： 1. 从存活节点读取剩余分片。 2. 重新计算丢失分片（数据块或校验块）。 3. 将修复后的分片写入新节点。 #### **3. 灵活配置** - 通过调整 **N** 和 **M** 的比值，平衡存储效率与容错能力： | 配置 | 容错能力 | 存储开销 | 适用场景 | |------------|----------|----------|------------------------------| | `EC:2+2` | 2 | 100% | 高容错小集群 | | `EC:8+4` | 4 | 50% | 大规模数据（如视频存储） | | `EC:16+8` | 8 | 50% | 超大规模+极端容错需求 | --- ### **四、对比传统副本机制** | 特性 | 纠删码（EC:4+2） | 三副本 | |--------------------|-----------------------|------------------------| | **存储利用率** | 150% | 300% | | **容错能力** | 允许 2 节点失效 | 允许 2 节点失效 | | **修复带宽消耗** | 低（仅需传输 4 分片） | 高（需复制完整副本） | | **适用数据规模** | 大文件（>1MB） | 小文件 | --- ### **五、纠删码的数学原理（简化版）** - **核心算法**：基于 Reed-Solomon 码，将数据视为多项式系数，通过生成校验方程实现冗余。 - **重建过程**： 当丢失分片时，通过剩余分片构建方程组，求解丢失分片的值。例如： - 数据块：$D_1, D_2, D_3, D_4$ - 校验块：$P_1 = aD_1 + bD_2 + cD_3 + dD_4$ $P_2 = eD_1 + fD_2 + gD_3 + hD_4$ - 丢失任意 2 个分片时，可通过解方程恢复原始数据。 --- ### **六、使用建议** 1. **大文件优先**：纠删码对分片计算有开销，建议文件大小 >1MB。 2. **硬件要求**： - 建议使用 SSD（降低编解码延迟）。 - 多核 CPU 提升编解码速度。 3. **容错规划**：根据业务需求选择 EC 配置（例如金融系统可选择 `EC:4+4` 容忍 4 节点故障）。 --- **附：MinIO 纠删码配置命令示例** ```bash # 启动一个 6 节点集群，使用 EC:4+2 minio server http://node{1...6}/data ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值