minio分布式集群部署

minio分布式集群部署

分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。MinioMinio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。

• minio官网：https://docs.min.io/docs/minio-quickstart-guide.html
• minio中文文档：http://docs.minio.org.cn/docs

一、Minio分布式部署的好处

1、数据保护

1.1	分布式 Minio 采用纠删码来防范多个节点宕机和位衰减。

1.2 分布式 Minio 至少需要 4 个节点（4台服务器），使用分布式 Minio 就 自动引入了纠删码功能。

1.3 纠删码是一种恢复丢失和损坏数据的数学算法， Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 奇偶校验块。 这就意味着如果是 12 块盘，一个对象会被分成 6 个数据块、6 个奇偶校验块，你可以丢失任意 6 块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下的盘中的数据进行恢复。

1.4	纠删码的工作原理和 RAID 或者复制不同，像 RAID6 可以在损失两块盘的情况下不丢数据，而 Minio 纠删码可以在丢失一半的盘的情况下，仍可以保证数据安全。 而且 Minio 纠删码是作用在对象级别，可以一次恢复一个对象，而RAID 是作用在卷级别，数据恢复时间很长。 Minio 对每个对象单独编码，存储服务一经部署，通常情况下是不需要更换硬盘或者修复。Minio 纠删码的设计目标是为了性能和尽可能的使用硬件加速。

1.5	位衰减又被称为数据腐化 Data Rot、无声数据损坏 Silent Data Corruption ，是目前硬盘数据的一种严重数据丢失问题。硬盘上的数据可能会神不知鬼不觉就损坏了，也没有什么错误日志。正所谓明枪易躲，暗箭难防，这种背地里犯的错比硬盘直接故障还危险。 所以 Minio 纠删码采用了高速 HighwayHash 基于哈希的校验和来防范位衰减。

2、高可用

2.1	单机 Minio 服务存在单点故障，相反，如果是一个 N 节点的分布式 Minio ,只要有 N/2 节点在线，你的数据就是安全的。不过你需要至少有 N/2+1 个节点来创建新的对象。例如，一个 8 节点的 Minio 集群，每个节点一块盘，就算 4 个节点宕机，这个集群仍然是可读的，不过你需要 5 个节点才能写数据。

3、限制

3.1	分布式 Minio 单租户存在最少 4 个盘最多 16 个盘的限制（受限于纠删码）。这种限制确保了 Minio 的简洁，同时仍拥有伸缩性。如果你需要搭建一个多租户环境，你可以轻松的使用编排工具（Kubernetes）来管理多个Minio实例。注意，只要遵守分布式 Minio 的限制，你可以组合不同的节点和每个节点几块盘。比如，你可以使用 2 个节点，每个节点 4 块盘，也可以使用 4 个节点，每个节点两块盘，诸如此类。

4、一致性

4.1	Minio 在分布式和单机模式下，所有读写操作都严格遵守 read-after-write 一致性模型。 

二、Minio分布式集群搭建

1、服务器准备

注意minio的数据盘需要和系统盘分开，因为minio集群启动时需要格式化硬盘，以下服务节点为我虚拟机创建，每个节点除系统盘外，各外挂一块硬盘。

附：centos硬盘扩容、挂载

服务器节点	存储目录	操作系统
192.168.80.11	/miniodata/data	centos7_64
192.168.80.12	/miniodata/data	centos7_64
192.168.80.13	/miniodata/data	centos7_64
192.168.80.14	/miniodata/data	centos7_64

2、下载官网二进制文件

liunx下载地址：https://dl.min.io/server/minio/release/linux-amd64/minio

window下载地址：http://dl.minio.org.cn/server/minio/release/windows-amd64/minio.exe

因为我们是centos系统，所以我们用liunx下载地址即可

3、开始部署

注意：以下操作需要在每一台服务器上操作一遍。

3.1、创建目录

[root@localhost ~]# mkdir -p /miniodata/{app,data,logs}

app：启动脚本及二进制文件目录；
data：数据存储目录；
logs：日志文件目录；

3.2、上传二进制minio文件

上传到 /miniodata/app 目录中

3.3、编写集群启动脚本

[root@localhost ~]# vi /miniodata/app/run.sh

#!/bin/bash
export MINIO_ROOT_USER=minio@admin
export MINIO_ROOT_PASSWORD=minio@admin
nohup /miniodata/app/minio server  --address ':9110' --console-address ':9111'  http://192.168.80.11/miniodata/data http://192.168.80.12/miniodata/data http://192.168.80.13/miniodata/data http://192.168.80.14/miniodata/data >/miniodata/logs/minio.log 2>&1 &

MINIO_ACCESS_KEY：用户名；
MINIO_SECRET_KEY：密码，密码不能过于简单，最好是大小写加特殊字符，长度大于8；
--address：minio默认端口为9000，通过此配置可更改默认端口，自己按需要添加。
--console-address 控制台端口号

3.4、给目录赋予权限

[root@localhost ~]# chmod +x /miniodata/app/minio && chmod +x /miniodata/app/run.sh

4、启动集群

4.1、启动之前先关闭防火墙

#查看防火墙状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld.service 
#禁止防火墙开机启动
systemctl disable firewalld.service

4.2、启动集群

按3的步骤依次在4台服务器上操作之后，用下面命令依次启动集群**

注意：启动之前要确保数据目录是独立挂载硬盘，并且目录为空，不然启动不成功！！！

 [root@localhost ~]# cd /miniodata/app
 [root@localhost ~]# ./run.sh

启动成功：

MinIO Console