分布式文件系统Minio实战

最新推荐文章于 2025-10-06 15:38:43 发布
原创 最新推荐文章于 2025-10-06 15:38:43 发布 · 1.5k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式文件存储 #MInio #MInio实战

分布式文件存储系统Minio实战

本课程minio 版本：RELEASE.2021-07-*及以上

1、分布式文件系统应用场景

互联网海量非结构化数据的存储需求

  • 电商网站：海量商品图片
  • 视频网站：海量视频文件
  • 网盘 : 海量文件
  • 社交网站：海量图片

1.1 Minio介绍

MinIO是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。

MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。

MinIO对象存储

官网：https://min.io/ http://www.minio.org.cn/

对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。

对于中小型企业，如果不选择存储上云，那么Minio是个不错的选择，麻雀虽小，五脏俱全。当然Minio除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到Amazon S3、MicroSoft Azure。

在中国：阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品。

1.1.1 Minio优点

  • 部署简单: 一个single二进制文件即是一切，还可支持各种平台。

  • minio支持海量存储，可按zone扩展(原zone不受任何影响)，支持单个对象最大5TB;

  • 兼容Amazon S3接口，充分考虑开发人员的需求和体验;

  • 低冗余且磁盘损坏高容忍，标准且最高的数据冗余系数为2(即存储一个1M的数据对象，实际占用磁盘空间为2M)。但在任意n/2块disk损坏的情况下依然可以读出数据(n为一个纠删码集合(ErasureCoding Set)中的disk数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的。

  • 读写性能优异

MinIO优点

1.2 MinIO的基础概念

  • Object：存储到 Minio 的基本对象，如文件、字节流，Anything…

  • Bucket：用来存储Object的逻辑空间。每个 Bucket 之间的数据是相互隔离的。对于客户端而言，就相当于一个存放文件的顶层文件夹。

  • Drive：即存储数据的磁盘，在MinIO启动时，以参数的方式传入。Minio中所有的对象数据都会存储在Drive里。

  • Set ：即一组Drive的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个Set中的Drive分布在不同位置。一个对象存储在一个 Set 上。（For example: {1…64} is divided into 4 sets each of size 16.）

    • 一个对象存储在一个Set上
    • 一个集群划分为多个Set
    • 一个Set包含的Drive数量是固定的，默认由系统根据集群规模自动计算得出
    • 一个SET中的Drive尽可能分布在不同的节点上

1.3 纠删码EC（Erasure Code）

MinIO 使用纠删码机制来保证高可靠性，使用 highwayhash 来处理数据损坏（ Bit Rot Protection ）。关于纠删码，简单来说就是可以通过数学计算，把丢失的数据进行还原，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。

1.4 存储形式

文件对象上传到 MinIO ，会在对应的数据存储磁盘中，以 Bucket 名称为目录，文件名称为下一级目录，文件名下是 part.1 和 xl.meta(老版本，最新版本如下图)，前者是编码数据块及检验块，后者是元数据文件。

纠删码

1.5 存储方案

存储方案

2、Minio环境搭建

官方文档：https://docs.min.io/docs/

中文文档：http://docs.minio.org.cn/docs/ （没有及时更新，容易被坑）

minio支持多种server启动模式：

MinIO server模式启动

2.1 单机部署

minio server的standalone模式，即要管理的磁盘都在host本地。该启动模式一般仅用于实验环境、测试环境的验证和学习使用。在standalone模式下，还可以分为non-erasure code mode和erasurecode mode。

2.1.1 non-erasure code mode

在此启动模式下，对于每一份对象数据，minio直接在data下面存储这份数据，不会建立副本，也不会启用纠删码机制。因此，这种模式无论是服务实例还是磁盘都是“单点”，无任何高可用保障，磁盘损坏就表示数据丢失。

2.1.2 erasure code mode

此模式为minio server实例传入多个本地磁盘参数。一旦遇到多于一个磁盘参数，minio server会自动启用erasure code mode。erasure code对磁盘的个数是有要求的，如不满足要求，实例启动将失败。 erasure code启用后，要求传给minio server的endpoint(standalone模式下，即本地磁盘上的目录)至少为4个。

2.1.3 基于centos7
操作系统 CPU架构 地址
GNU/Linux 64-bit Intel http://dl.minio.org.cn/server/minio/release/linux-amd64/minio 
wget -q http://dl.minio.org.cn/server/minio/release/linux-amd64/minio
chmod +x minio
#启动minio server服务，指定数据存储目录/mnt/data
./minio server /mnt/data

MinIO启动界面

默认用户名密码minioadmin:minioadmin，修改默认用户名密码可以使用：

export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=12345678

默认的配置目录是${HOME}/.minio，可以通过–config-dir命令自定义配置目录：

./minio server --config-dir /mnt/config /mnt/data

控制台监听端口是动态生成的，可以通过–console-address ":port"指定静态端口

./minio server --console-address ":50000" /mnt/data

image-20240702161954840

访问minio控制台: http://192.168.3.14:50000/dashboard

image-20240702162038215

2.1.4 基于docker
docker run -p 9000:9000 --name minio \
-v /mnt/data:/data \
-v /mnt/config:/root/.minio \
minio/minio server /data

存在问题： 浏览器无法访问minio控制台，因为没有对外暴露控制台端口

对外暴露minio控制台的端口，通过–console-address ":50000"指定控制台端口为静态端口

docker run -p 9000:9000 -p 50000:50000 --name minio \
-v /mnt/data:/data \
-v /mnt/config:/root/.minio \
minio/minio server --console-address ":50000" /data

# 报错：
Digest: sha256:d786220feef7d8fe0239d41b5d74501dc824f6e7dd0e5a05749c502fff225bf3
Status: Downloaded newer image for minio/minio:latest
ERROR Unable to initialize backend: format.json file: expected format-type: fs, found: xl-single
# 原因：
# 启动命令中挂载的/mnt/data已经被minio占用了。（以前启动的minio挂载过）
# 解决：
# 找到.minio.sys
cd /mnt/data
ls -a # 发现文件
rm -rf .minio.sys # 删除

image-20240702164513223

访问minio控制台： http://10.0.0.131:50000/

image-20240702164614400

MinIO自定义用户名密码

docker run -d -p 9000:9000 -p 50000:50000 --name minio \
-e "MINIO_ROOT_USER=admin" \
-e "MINIO_ROOT_PASSWORD=12345678" \
-v /mnt/data:/data \
-v /mnt/config:/root/.minio \
minio/minio server --console-address ":50000" /data
2.1.5 minio纠删码模式

Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏。 即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据。

纠删码是一种恢复丢失和损坏数据的数学算法， Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2奇偶校验块。 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，你可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下的盘中的数据进行恢复。

image-20240702165217584

使用Minio Docker镜像，在8块盘中启动Minio服务：

docker run -d -p 9000:9000 -p 50000:50000 --name minio \
-v /mnt/data1:/data1 \
-v /mnt/data2:/data2 \
-v /mnt/data3:/data3 \
-v /mnt/data4:/data4 \
-v /mnt/data5:/data5 \
-v /mnt/data6:/data6 \
-v /mnt/data7:/data7 \
-v /mnt/data8:/data8 \
minio/minio server /data{
   
   1...8} --console-address ":50000"

2.2 分布式集群部署

分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。

image-20240702170929544

2.2.1 分布式存储可靠性常用方法

分布式存储，很关键的点在于数据的可靠性，即保证数据的完整，不丢失，不损坏。只有在可靠性实现的前提下，才有了追求一致性、高可用、高性能的基础。而对于在存储领域，一般对于保证数据可靠性的方法主要有两类，一类是冗余法，一类是校验法。

冗余

冗余法最简单直接，即对存储的数据进行副本备份，当数据出现丢失，损坏，即可使用备份内容进行恢复，而副本 备份的多少，决定了数据可靠性的高低。这其中会有成本的考量，副本数据越多，数据越可靠，但需要的设备就越多，成本就越高。可靠性是允许丢失其中一份数据。当前已有很多分布式系统是采用此种方式实现，如 Hadoop 的文件系统（3个副本），Redis 的集群，MySQL 的主备模式等。

校验

校验法即通过校验码的数学计算的方式，对出现丢失、损坏的数据进行校验、还原。注意，这里有两个作用，一个校验，通过对数据进行校验和( checksum )进行计算，可以检查数据是否完整，有无损坏或更改，在数据传输和保存时经常用到，如 TCP 协议；二是恢复还原，通过对数据结合校验码，通过数学计算，还原丢失或损坏的数据，可以在保证数据可靠的前提下，降低冗余，如单机硬盘存储中的 RAID技术，纠删码（Erasure Code）技术等。MinIO 采用的就是纠删码技术。

2.2.2 分布式Minio优势
数据保护

分布式Minio采用 纠删码来防范多个节点宕机和位衰减 bit rot 。

分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码功能。

高可用

单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。

一致性

Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。

2.2.3 运行分布式Minio

启动一个分布式Minio实例，你只需要把硬盘位置做为参数传给minio server命令即可，然后，你需要在所有其它节点运行同样的命令。

  • 分布式Minio里所有的节点需要有同样的access秘钥和secret秘钥，这样这些节点才能建立联接。为了实现这个，你需要在执行minio server命令之前，先将access秘钥和secret秘钥export成环境变量。新版本使用MINIO_ROOT_USER&MINIO_ROOT_PASSWORD。
  • 分布式Minio使用的磁盘里必须是干净的，里面没有数据。
  • 下面示例里的IP仅供示例参考，你需要改成你真实用到的IP和文件夹路径。
  • 分布式Minio里的节点时间差不能超过3秒，你可以使用NTP来保证时间一致。
  • 在Windows下运行分布式Minio处于实验阶段，请悠着点使用。
8个节点，每节点1块盘

启动分布式Minio实例，8个节点，每节点1块盘，需要在8个节点上都运行下面的命令：

export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=12345678
minio server http://192.168.1.11/export1 http://192.168.1.12/export2 \
http://192.168.1.13/export3 http://192.168.1.14/export4 \
http://192.168.1.15/export5 http://192.168.1.16/export6 \
http://192.168.1.17/export7 http://192.168.1.18/export8

image-20240702171741854

4节点，每节点4块盘

启动分布式Minio实例，4节点，每节点4块盘，需要在4个节点上都运行下面的命令

export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=12345678
minio server http://192.168.1.11/export1 http://192.168.1.11/export2 \
http://192.168.1.11/export3 http://192.168.1.11/export4 \
http://192.168.1.12/export1 http://192.168.1.12/export2 \
http://192.168.1.12/export3 http://192.168.1.12/export4 \
http://192.168.1.13/export1 http://192.168.1.13/export2 \
http://192.168.1.13/export3 http://192.168.1.13/export4 \
http://192.168.1.14/export1 http://192.168.1.14/export2 \
http://192.168.1.14/export3 http://192.168.1.14/export4

image-20240702171907430

通过脚本方式启动

# 单节点多磁盘启动，需要在四个目录下挂载四块小硬盘（否则会报错）
# Error: Drive http://10.0.0.131:9001/mnt/data01 returned an unexpected error: major: 8: minor: 3: drive is part of root drive, will not be used, please investigate - drive will be offline (*fmt.wrapError)
# 挂载四块小硬盘为disk1..disk4
# 本文所在目录为/usr/local/soft下
cat minio-cluster.sh
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=12345678
MINIO_HOME=/usr/local/soft
MINIO_HOST=10.0.0.131

for i in {
   
   1..4}; do
    nohup ${MINIO_HOME}/minio server --address ":90${i}" --console-address ":500${i}" http://${MINIO_HOST}:9001/disk1 http://${MINIO_HOST}:9002/disk2 http://${MINIO_HOST}:9003/disk3 http://${MINIO_HOST}:9004/disk4 > ${MINIO_HOME}/minio-90${i}.log 2>&1 &
done

./minio-cluster.sh

执行脚本后查看日志和进程

  • 有的日志会显示报错信息，是由于单机多磁盘启动有启动顺序找不到驱动，但是看到进程在，等几秒就会正常、

  • 例如

image-20240703110054434

  • 往下拉日志可以看到最后是启动的

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  • 其他节点日志

image-20240703105825042

  • 看进程

image-20240703105749724

测试上传：

image-20240703110645035

存储结构

最低0.47元/天 解锁文章
信创环境下分布式文件存储MinIO集群部署
Heartsuit的博客
06-18 2166
本次项目涉及20+台服务器的部署，技术包括 注册中心集群、 网关服务集群、 关系型数据库服务集群、 分布式文件存储服务集群、 缓存服务集群、 服务端消息推送集群、 定时任务服务集群、 反向代理高可用集群、监控服务集群等。这里主要记录下分布式文件存储服务集群以及缓存服务集群的搭建过程。 Note：以下所有操作分别在4台主机上操作，文件传输： 在4台主机上创建目录并挂载。 编写启动脚本 新建脚本 赋予执行权限 编写服务脚本 新建脚本 验证系统服务 关闭防火墙 由于四台主机
[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十）
曼岛_的博客
05-21 1050
[Java实战]Spring Boot整合MinIO：分布式文件存储与管理实战（三十）
分布式文件系统 -- Minio
三个诸葛亮的博客
12-10 3277
MinIO 是一款高性能、分布式的对象存储系统. 它是一款软件产品, 可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。
MinIO分布式文件系统介绍
qq_44825854的博客
04-26 1439
文件变化主动通知：存储桶（Bucket）如果发生改变,比如上传对象和删除对象，可以使用存储桶事件通知机制进行监控，并通过以下方式发布出去:AMQP、MQTT、Elasticsearch、Redis、NATS、MySQL、Kafka、Webhooks等。总之，将 MinIO 封装为一个启动脚本能够提高用户的使用体验，简化管理和部署过程，使得 MinIO 的使用更加方便和高效。：通过封装为脚本，用户可以使用一个简单的命令来启动 MinIO，而无需记住复杂的启动命令和参数。Object——类比文件系统的文件。
从 0 到 PB 级存储：MinIO 分布式文件系统实战指南与架构解密
最新发布
果酱 の 博客
10-06 1356
摘要：本文系统介绍了基于MinIO构建PB级分布式文件存储方案的全过程。首先分析了传统存储方案的局限性，重点阐述了MinIO的核心优势：支持横向扩展、纠删码技术保障数据安全、兼容S3协议等。随后详细讲解了从单机部署到生产级集群的搭建方法，包括Nginx负载均衡配置和健康检查机制。在核心功能实现方面，提供了完整的Java客户端集成方案，涵盖文件上传下载、元数据管理等基础功能，以及分片上传、版本控制、数据加密等高级特性。
分布式文件存储系统MinIO
热门推荐
Pencil107的博客
11-07 4万+
分布式文件存储系统MinIO
分布式文件系统minIo
柒柒柒柒
05-23 1605
分布式文件系统
分布式文件系统MinIO
qq_45228323的博客
12-20 1344
文件存储方式对比 常见的分布式文件系统 1, MinIO简介 MinIO基于Apache License v2.0开源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。 由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以运行起来。 MinIO兼容亚马逊S3（ Simple Storage Service简单存储服务）云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、
分布式文件存储MinIO实战
qq_45441466的博客
09-12 7368
1.分布式文件系统应用场景 互联网海量非结构化数据的存储需求 电商网站：海量商品图片 视频网站：海量视频文件 网盘 : 海量文件 社交网站：海量图片 1.1 Minio介绍 MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非 常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而 一个对象文件可以是任意大小，从几kb到最大5T不等。 MinIO是一个非常轻量的服务,可以很简单的和其他应用的
使用MinIO构建分布式文件系统来一次分布式文件系统实战！
Java_LingFeng的博客
01-12 1228
随着文件数据的越来越多，传统的文件存储方式通过tomcat或nginx虚拟化的静态资源文件在单一的服务器节点内已经无法满足系统需求，也不利于文件的管理和维护，这就需要一个系统来管理多台计算机节点上的文件数据，这就是分布式文件系统。
分布式文件存储 - - - MinIO从入门到飞翔
m0_63144319的博客
06-13 6772
对象存储是一种数据存储架构，设计用于管理和处理大量非结构化数据。与传统的文件存储和块存储不同，对象存储通过将数据分解为离散的、独立的单元或“对象”来存储每个对象包含数据本身、相关的元数据和一个唯一的标识符。存储方式优点缺点服务器磁盘开发便捷，成本低扩展困难分布式文件系统容易实现扩容复杂度高第三方存储开发简单，功能强大，免维护收费。
minio 分布式文件管理
weixin_65019617的博客
12-10 4836
synchronized是一种悲观锁，在执行被synchronized包裹的代码时需要首先获取锁，没有拿到锁则无法执行，是总悲观的认为别的线程会去抢，所以要悲观锁。乐观锁的思想是它不认为会有线程去争抢，尽管去执行，如果没有执行成功就再去重试。为了防止多个分布式任务，执行同一个行为，需要使用分布锁进行来控制1、基于数据库实现分布锁利用数据库主键唯一性的特点，或利用数据库唯一索引、行级锁的特点，多个线程同时去更新相同的记录，谁更新成功谁就抢到锁。
MinIO实战
baobao的博客
04-20 6267
基本介绍 1.简介 MinIO是一个开源的对象存储服务，非常适合存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。而一个对象文件可以是任意大小，从几十kb到最大5T不等。MinIO是一个非常轻量的服务，可以很简单地和其他应用结合，类似Redis、MySQL MinIO的优点如下： 部署简单：一个二进制文件即是一切，还可以支持各种平台 支持海量存储，可以按zone扩展，支持单个对象最大5TB 低冗余且磁盘损坏高容忍，标准且最高的数据冗余系数为2(即存储一个1M的数据
使用MinIO搭建自己的分布式文件存储
记得开心一点嘛的博客
06-06 5072
MinIO是一个高性能、分布式对象存储系统，专为大规模数据基础设施而设计，它兼容亚马逊 S3 云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。它一大特点就是轻量，使用简单，功能强大，支持各种平台，单个文件最大5TB，兼容 Amazon S3接口，提供了 Java、Python、GO等多版本SDK支持。官网：https://min.io。
分布式文件存储系统Minio
查查攻城狮
07-13 1万+
MinIO基于Apache License 2.0开源协议的对象存储服务。它兼容Amazon S3云存储接口。适合存储非结构化数据，如图片，音频，视频，日志等。对象文件最大可以达到5TB官网：https://min.io/ 中文 http://minio.org.cn/MiniO 使用纠删码机制来保证高可靠性，使用highwayhash来处理数据损坏(Bit Rot Protection)。关于纠删码，简单来说就是可以通过数学计算，把丢失的数据进行还原，它可以将n份原始数据，增加m份数据，并能通过n+m份
分布式文件系统minio
qq_64376339的博客
05-01 2607
MinIO 是一个非常轻量的服务,可以很简单的和其他应用的结合使用，它兼容亚马逊 S3 云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。它一大特点就是轻量，使用简单，功能强大，支持各种平台，单个文件最大5TB，兼容 Amazon S3接口，提供了 Java、Python、GO等多版本SDK支持。MinIO集群采用去中心化共享架构，每个结点是对等关系，通过Nginx可对MinIO进行负载均衡访问。去中心化有什么好处？
Minio文件系统
m0_62943934的博客
04-07 1118
MinIO是全球领先的对象存储先锋，是一个非常轻量的服务，可以很简单的和其他应用的结合使用。高性能，在标准硬件上，读/写速度上高达183GB/秒和171GB/秒，拥有更高的吞吐量和更低的延迟可扩展性，为对象存储带来了简单的缩放模型，通过添加更多集群可以扩展空间简单，极简主义是MinIO的指导性设计原则，即可在几分钟内安装和配置与Amazon S3兼容，兼荣亚马逊云的S3 API（接口协议/云存储服务接口）是在全球范围内达到共识的对象存储的协议，是全世界内大家都认可的标准数据安全。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值