1、 前言
1.1 Minio 简介
- 1、MinIO 是在 Apache License v2.0 下发布的对象存储服务器。 它与 Amazon S3 云存储服务兼容。 它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM 映像。 对象的大小可以从几 KB 到最大 5TB。
- 2、MinIO 服务器足够轻,可以与应用程序堆栈捆绑在一起,类似于 NodeJS,Redis 和 MySQL。
- 3 一种高性能的分布式对象存储服务器,用于大型数据基础设施。它是机器学习和其他大数
据工作负载下 Hadoop HDFS 的理想 s3 兼容替代品
2 、 为什么要用 Minio
2.1 选择它的理由
- 1、Minio 有良好的存储机制
- 2、Minio 有很好纠删码的算法与擦除编码算法
- 3、拥有RS code 编码数据恢复原理
- 4、公司做强做大时,数据的拥有重要性,对数据治理与大数据分析做准备。
- 5、搭建自己的一套文件系统服务,对文件数据进行安全保护。
- 6、拥有自己的平台,不限于其他方限制。
2.2 存储机制
- Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 即便丢失一半数量(N/2)的硬盘,仍然可以恢复数据。
2.3 纠删码
- 纠删码是一种恢复丢失和损坏数据的数学算法,目前,纠删码技术在分布式存储系统中的应用主要有三类,阵列纠删码(Array Code: RAID5、RAID6 等)、RS(Reed-Solomon)里德-所罗门类纠删码和 LDPC(LowDensity Parity Check Cod