高性能minio集群环境搭建（配视频教程）

为后续进行《小卷原创视频教程：spring boot 3 + vue3文件上传最佳实践》的大文件上传项目实战，这里带着小伙伴一起搭建下分布式开源文件存储minIO的集群环境。后续将对这个环境进行spring boot的集成，以进行企业级大文件上传的对接。

小卷学习资料

本教程配套视频教程

视频地址：高性能minIO分布式文件服务集群实操

视频说明

这里仅演示了集群环境的搭建步骤，关于minIO背后的概念以及原理，对于刚接触该软件的小伙伴来说可以不用了解太多，咱们实战的目的就是先知道软件环境怎么搭建，怎么使用，玩溜了再回头了解内部细节。

Linux环境

如果小伙伴想在本地通过虚拟机来搭建一个centos虚拟系统，可以参考小卷原创视频教程：Java开发必会的Linus环境搭建。在本教程中，我们将对现有的备份好的虚拟机节点进行克隆，通过修改静态ip和hostname的方式来复制出多台机器节点，以进行集群实验：

这里用到4台机器，每台的/etc/hosts文件中加如下映射配置，确保机器之间可以通过域名ping通。

192.168.1.124 test-1
192.168.1.125 test-2
192.168.1.126 test-3
192.168.1.127 test-4

准备工作

克隆机器节点

可以对现有的配置好基本软件环境的虚拟机节点复制一份，改下ip、hostname。具体操作参考教学录屏。

虚拟机扩展磁盘

minIO的存储服务需要独立的磁盘挂载文件存储目录，这里我们通过virtualBox的虚拟机设置来扩展minio单台机器存储需要的4个扩展磁盘。

先把服务停掉，扩展出4块磁盘。

以上操作具体操作参考教学录屏。

磁盘格式化和挂载

完成磁盘扩展后启动虚拟机，完成下面的磁盘格式化和挂载操作。具体操作见教学录屏。

# 查看未挂载的磁盘
lsblk
# 无法看到这些盘
df -h
# 查看虚拟盘
fdisk -l
# xfs格式化（sdb、sdc、sdd、sde都做一遍）
mkfs.xfs /dev/sdb -L DISK1
mkfs.xfs /dev/sdc -L DISK1
mkfs.xfs /dev/sdd -L DISK1
mkfs.xfs /dev/sde -L DISK1

# 创建挂载源目录
mkdir /data1
mkdir /data2
mkdir /data3
mkdir /data4

# 挂载
mount /dev/sdb /data1
mount /dev/sdc /data2
mount /dev/sdd /data3
mount /dev/sde /data4

# 查看
df -h

# 设置开机自动挂载
vi /etc/fstab
/dev/sdb                                  /data1                 xfs     defaults,noatime 0 2
/dev/sdc                                  /data2                 xfs     defaults,noatime 0 2
/dev/sdd                                  /data3                 xfs     defaults,noatime 0 2
/dev/sde                                  /data4                 xfs     defaults,noatime 0 2

# 重启
reboot

必要的话，同步系统时间

yum install ntpdate -y
#时间同步（以下地址选其一）
ntpdate ntp1.aliyun.com
ntpdate ntp.aliyun.com

minIO服务搭建

这块内容可参考参考资料的相关教程，或者笔者的视频教程来搭建。

单机环境

# 下载
wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20240803043323.0.0-1.x86_64.rpm -O minio.rpm

# 安装
rpm -ivh minio.rpm

# 生成的服务文件路径：/usr/lib/systemd/system/minio.service

笔者在实践时用rpm安装生成的默认minio.service服务文件启动服务时有些问题，后来改成直接用官方文档给出的内容后，ok了，minio.service文件官方参考：

[Unit]
Description=MinIO
Documentation=https://min.io/docs/minio/linux/index.html
Wants=network-online.target
After=network-online.target
AssertFileIsExecutable=/usr/local/bin/minio

[Service]
WorkingDirectory=/usr/local

User=minio-user
Group=minio-user
ProtectProc=invisible

EnvironmentFile=-/etc/default/minio
ExecStartPre=/bin/bash -c "if [ -z \"${MINIO_VOLUMES}\" ]; then echo \"Variable MINIO_VOLUMES not set in /etc/default/minio\"; exit 1; fi"
ExecStart=/usr/local/bin/minio server $MINIO_OPTS $MINIO_VOLUMES

# MinIO RELEASE.2023-05-04T21-44-30Z adds support for Type=notify (https://www.freedesktop.org/software/systemd/man/systemd.service.html#Type=)
# This may improve systemctl setups where other services use `After=minio.server`
# Uncomment the line to enable the functionality
# Type=notify

# Let systemd restart this service always
Restart=always

# Specifies the maximum file descriptor number that can be opened by this process
LimitNOFILE=65536

# Specifies the maximum number of threads this process can create
TasksMax=infinity

# Disable timeout logic and wait until process is stopped
TimeoutStopSec=infinity
SendSIGKILL=no

[Install]
WantedBy=multi-user.target

# Built for ${project.name}-${project.version} (${project.name})

关于启动用户

这里默认是用的minio:minio用户组来读取启动配置的，因此需要用下面的步骤来创建用户和组，以及分配可访问的文件存储目录。大家嫌麻烦可以把配置中的用户和组改成root。

创建用户

# 查看下所有用户
cat /etc/passwd
# 创建minio用户
groupadd -r minio-user
useradd -M -r -g minio-user minio-user
# 给4块挂载好的存储路径赋予用户权限
chown minio-user:minio-user /data1 /data2 /data3 /data4

创建环境变量文件

默认安装好后没有该文件，自行创建下，文件路径：/etc/default/minio

内容如下：

# Set the hosts and volumes MinIO uses at startup
# The command uses MinIO expansion notation {x...y} to denote a
# sequential series.
#
# The following example covers four MinIO hosts
# with 4 drives each at the specified hostname and drive locations.
# The command includes the port that each MinIO server listens on
# (default 9000)
MINIO_VOLUMES="/data{1...4}/minio"

# Set all MinIO server options
#
# The following explicitly sets the MinIO Console listen address to
# port 9001 on all network interfaces. The default behavior is dynamic
# port selection.

## minio-console的地址 就是web界面控制台
MINIO_OPTS="--address :9000 --console-address :9001"

# Set the root username. This user has unrestricted permissions to
# perform S3 and administrative API operations on any resource in the
# deployment.
#
# Defer to your organizations requirements for superadmin user name.

# console的登陆账号
MINIO_ROOT_USER=minioadmin

# Set the root password
#
# Use a long, random, unique string that meets your organizations
# requirements for passwords.

# console的登陆密码
MINIO_ROOT_PASSWORD=minioadmin

# Set to the URL of the load balancer for the MinIO deployment
# This value *must* match across all MinIO servers. If you do
# not have a load balancer, set this value to to any *one* of the
# MinIO hosts in the deployment as a temporary measure.
# 负载均衡地址 如果没有负载均衡就不要放开这个配置
#MINIO_SERVER_URL="http://192.168.192.163:9000"

启动服务

# 如果改了minio.service，先刷新
systemctl daemon-reload
# 启动minio服务
systemctl start minio
# 查看服务启动状态
systemctl status minio

web控制端访问地址：http://192.168.1.124:9001

集群环境

先修改下前面单机环境下的/etc/default/minio的MINIO_VOLUMES配置节点，写法如下：

## 指定存储位置，通过池化写法简化集群配置
MINIO_VOLUMES="http://test-{1...4}:9000/data{1...4}/minio"

注意，这里对挂载的data{1...4}这四个目录，再创建一层子目录minio，笔者在实验时只指定到父目录，在服务启动后检测存储目录时会有报错的情况。参考官网加了一层子目录minio后问题解决！

基于我们上面单台机器搭建的环境，克隆出另外3台机器。教程开头的Linux环境已列出。

依次启动4台机器的minio服务，访问任意一台机器的minio web控制端即可。

最后再对4台机器的minio服务设置开机启动项，集群就ok了。

# 设置开机启动
systemctl enable minio

nginx负载均衡

待整理，敬请期待。。。

参考资料

官方参考文档：minIO多节点多磁盘驱动集群部署

参考文章：

Linux中如何构建4块虚拟盘来搭建分布式MinIO集群？

【虚拟机】VirtualBox添加虚拟磁盘

虚拟机VirtualBox添加磁盘

搭建高可用MinIO集群

Minio 集群生产环境部署示例

minio集群部署/排错/挂载/负载均衡/异地同步

Minio集群部署

minio安装(rpm方式)

MinIO-rpm离线安装