MinIO-设置数据校验分片数量(parity shard)

介绍

什么是奇偶校验值?

设置奇偶校验值,是为了可用性和总可用存储量之间的平衡。较高的奇偶校验值以可用存储为代价提高了驱动器或节点故障的恢复能力;较低的奇偶校验值提供了最大限度的存储,同时降低了对驱动器或节点故障时的容忍度。

下表列出了由 1 个节点和 16 个 1TB 驱动器组成的 MinIO 部署中不同纠删码奇偶校验级别的结果:

Parity

总可用容量

存储使用率

读操作所需最小节点数量

写操作所需最小节点数量

EC: 4 (默认)

12 TB

0.750

12

12

EC: 6

10 TB

0.625

10

10

EC: 8

8 TB

0.500

8

9

存储类型分类

Minio支持两种存储类型:Reduced Redundancy类型 和 Standard类型。这两种类型可以通过环境变量定义。

可以通过“PutObject请求元数据标签” x-amz-storage-class,设置对象的存储类型。然后,MinIO 服务器通过将对象保存在特定数量的数据和奇偶校验驱动器中(根据Reduced Redundancy类型 和 Standard类型分别设置的奇偶校验值),来满足存储类的要求。

Standard类型的默认奇偶校验值 

擦除集大小

(Erasure Set Size)

Default Parity (EC:N)
4-5EC:2
6-7EC:3
8-16EC:4
  • 如果 Reduced Redundancy奇偶校验值未设置,Standard奇偶校验值需要≥2
  • 如果 Reduced Redundancy奇偶校验值已设置,Standard奇偶校验值需要>Reduced Redundancy奇偶校验值
  • Standard奇偶校验值,需要满足:Parity Shards ≤ Data Shards

Reduced Redundancy类型默认奇偶校验值

默认值:1

  • 如果Standard奇偶校验值未设置,Reduced Redundancy奇偶校验值需要满足:Parity Shards ≤ Data Shards
  • 如果Standard奇偶校验值已设置,Reduced Redundancy奇偶校验值需要 < Standard奇偶校验值

配置参数-环境变量

存储类型环境变量设置格式

MINIO_STORAGE_CLASS_STANDARD=EC:parity
MINIO_STORAGE_CLASS_RRS=EC:parity

例如,设置MINIO_STORAGE_CLASS_STANDARD 奇偶校验值为3,MINIO_STORAGE_CLASS_RRS 奇偶校验值为2:

MINIO_STORAGE_CLASS_STANDARD=EC:3
MINIO_STORAGE_CLASS_RRS=EC:2
  • 如果设置了Standard类型奇偶校验值,并且上传object时未设置请求元数据“x-amz-storage-class”,MinIO将对object应用Standard存储类型。
  • 如果没有设置存储类型,上传object时设置了请求元数据“x-amz-storage-class”

参考

Erasure Coding — MinIO Object Storage for Linux

MinIO Server — MinIO Object Storage for Linux

MinIO 博客

https://github.com/minio/minio/blob/master/docs/erasure/storage-class/README.md

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值