开源分布式对象存储-MinIO

背景:通常在企业中我们会将一些图片，视频，文档等相关数据存储在对象存储中，以便于数据的存储和快速获取。在过去的一段时间，我们将这部分数据存储在公有云的对象存储服务上，但随着业务的快速发展，我们需要存储一些身份信息用于审核和实名相关的数据，这部分数据较为敏感，因此对于敏感数据的存储我们选择了使用兼容S3协议的开源分布式对象存储-Minio来进行自建服务。

前言

Minio可能在国内知道和用的人不是很多，我第一次接触Minio是也是当时我们需要使用Spinnaker集群来管理和维护内部的Kubernetes集群，而Spinnaker的中的持久化存储就使用的是Minio Spinnaker集群搭建。

但其实，Minio这款开源的分布式对象存储服务在国外已经相当受欢迎，并且国内也有多中小型互联网公司使用它来作为对象存储服务。

有意思的是当年在开源的分布式存储方案中，比较有名的就是GlusterFS和Ceph。前者虽然也提供了块存储和对象存储的接口，但对于企业来说更多用于了分布式文件系统存储，其实就是一种高可用版本的NAS解决方案(通常用于替换NFS)，而后者则针对多种存储场景设计了不同的产品，针对分布式文件系统存储有CephFS，针对分布式块存储有Ceph RBD，针对分布式对象存储有Ceph Radosgw，基本上可以做到开箱即用。

所以，在后来GlusterFS后来被收购后，据说创始团队又开源了一个分布式存储软件，就是这个用Golang编写的小而美的对象存储Minio.

Minio介绍

MinIO是一个用Golang开发的基于Apache License v2.0开源协议的对象存储服务。

它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和数据损坏。

因此，即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据。

纠错码介绍(erasure code)

纠删码是一种恢复丢失和损坏数据的数学算法， Minio采用Reed-Solomon code将对象拆分成可变数据块和奇偶校验块。 比如12块盘(driver)，一个对象可以被切分到所有驱动器上的可变数量的数据和奇偶校验块—从6个数据和6个奇偶校验块到10个数据和2个奇偶校验块。

但是，默认情况下，MinIO在N/2个数据块和N/2个奇偶校验驱动器上分片对象，当然用户可以通过storage classes来自定义配置，不过官方还是建议采用使用N/2个节点来分配数据块和奇偶校验块，这样能够以最佳的方式保护防止驱动器(driver)故障.

在上面的12个驱动器示例(使用默认配置)中，您可以丢失6个驱动器中的任何一个，但仍然可以从其余驱动器可靠地重构和恢复数据。

为什么纠错码有用

与RAID或复制不同，纠错码可以保护数据不受多个驱动器故障的影响。

比如，在经典的RAID6中可以在损失两块盘的情况下不丢数据，然而在Minio中纠错码可以保证当一般的盘故障时依然不会影响到数据。此外，纠错码在在对象级别，并且每次就可以修复一个对象。对于RAID而言，数据的修复在卷(volume)级别，这就意味比较高的修复时间。由于MinIO对每个对象单独编码，所以它可以逐步的对对象进行修复。一旦部署了存储服务器，就不需要在服务器的生命周期内更换或修复驱动器。MinIO的纠错码后端是为提高操作效率而设计的，它可以更加高效的利用硬件而达到加速的效果。

什么是Bit Rot保护

Bit Rot，也称为Data Rot或静默数据损坏，是当今磁盘驱动器面临的数据丢失问题。驱动器上的数据可能在不发出错误信号的情况下被损坏，这使得比特损坏比永