Minio分布式集群搭建

已于 2023-11-30 20:44:21 修改
阅读量1.6k 收藏 24
点赞数 24
分类专栏： 分布式存储 文章标签： 运维 centos 负载均衡 中间件
于 2023-11-22 13:25:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34861017/article/details/134536442
版权

Minio分布式存储

目录

Centos安装

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

请添加图片描述
请添加图片描述

删除声卡和打印机

请添加图片描述

请添加图片描述
请添加图片描述请添加图片描述

请添加图片描述
请添加图片描述

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

请添加图片描述
请添加图片描述

安装过程注意点
Centos配置

root账户 Root：root

用户 test：test

设置静态IP

请添加图片描述

虚拟机网络信息
子网IP： 192.168.71.0
子网掩码： 255.255.255.0
网关IP：192.168.71.2
# 查看网卡
cd /etc/sysconfig/network-scripts/
下面第一个就是网卡名称

请添加图片描述

#设置静态IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33

请添加图片描述

#重置网络
systemctl restart network.service
# 切为root用户
su root

# 设置时区为上海
timedatectl set-timezone Asia/Shanghai

ntpdate cn.pool.ntp.org

#关闭防火墙

firewall-cmd --permanent --zone=public --add-port=9000/tcp
firewall-cmd --reload

systemctl stop firewalld.service
systemctl disable firewalld.service

systemctl status firewalld.service

请添加图片描述
请添加图片描述

注意：Vmnet8网络中的ip地址与虚拟机的ip不能相同

CentOS集群
虚拟机克隆

https://blog.csdn.net/weixin_36665875/article/details/106350796

node1：192.168.71.11

node2：192.168.71.12

node3：192.168.71.13

node4：192.168.71.14

node5: 192.168.17.15

Minio集群

Minio基本概念

  • S3——Simple Storage Service，简单存储服务，这个概念是Amazon在2006年推出的，对象存储就是从那个时候诞生的。S3提供了一个简单Web服务接口，可用于随时在Web上的任何位置存储和检索任何数量的数据。

  • Object——存储到 Minio 的基本对象，如文件、字节流，Anything…

  • Bucket——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的。

  • Drive——部署 Minio 时设置的磁盘，Minio 中所有的对象数据都会存储在 Drive 里。

  • Set——一组 Drive 的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个 Set 中的 Drive 分布在不同位置。

​ 一个对象存储在一个Set上
​ 一个集群划分为多个Set
​ 一个Set包含的Drive数量是固定的，默认由系统根据集群规模自动计算得出
​ 一个SET中的Drive尽可能分布在不同的节点上

纠删码

纠删码（Erasure Code）简称EC，是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。

  • 纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。
  • Erasure Code是一种编码技术，它可以将n份原始数据，增加m份校验数据，并能通过n+m份中的任意n份原始数据，还原为原始数据。
  • 即如果有任意小于等于m份的校验数据失效，仍然能通过剩下的数据还原出来。
  • Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。
  • 在同一集群内，MinIO 自己会自动生成若干纠删组（Set），用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。
Minio集群原理

Minio分布式集群是指在多个服务器节点部署Minio服务，并将其组建为分布式存储集群，对外提供==S3（Simple Storage Service）==接口进行统一访问

请添加图片描述

MinIO集群采用去中心化无共享架构，各节点间为对等关系，连接至任一节点均可实现对集群的访问，并通过DNS轮询等方式实现节点间的负载均衡。这种节点间保持对等关系的设计并非最常见的分布式集群架构。当前大多数的分布式存储集群，其节点往往可划分为多类角色，例如负责连接并处理外部应用请求的访问节点、负责存储元数据的管理节点、实际的数据存储节点等。MinIO则与之不同，MinIO集群中的所有节点都同时承担了多种角色，集元数据存储、数据存储、应用访问等功能于一体，真正实现了去中心化和所有节点的完全对等。其优势在于有效地减少了集群内的复杂调度过程以及因中心节点带来的故障风险和性能瓶颈。

数据对象在MinIO集群中进行存储时，先进行纠删分片，后打散存储在各硬盘上。具体为：MinIO自动在集群内生成若干纠删组，每个纠删组包含一组硬盘，其数量通常为4至16块；对数据对象进行分片，默认策略是得到相同数量的数据分片和校验分片；而后通过哈希算法计算出该数据对象对应的纠删组，并将数据和校验分片存储至纠删组内的硬盘上。

Minio集群搭建
#编辑/etc/hosts文件来进行主机地址映射

192.168.71.11   minio1
192.168.71.12   minio2
192.168.71.13   minio3
192.168.71.14   minio4


#修改完需要重启网络
sudo systemctl restart network


#minio下载地址：https://dl.minio.org.cn/server/minio/release/linux-amd64/

#创建minio文件，数据目录(data1、data2需要单独挂载独立的磁盘)
mkdir -p /home/minio/{run,data1,data2} && mkdir -p /etc/minio

# 编写minio集群启动脚本
vim /home/minio/run/minio-run.sh


# 2节点4硬盘-集群1
#!/bin/bash
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
/home/minio/run/minio server --config-dir /etc/minio \
--address ":9000" \
http://minio{1...2}/home/minio/data{1...2}

#/home/minio/run/minio：指的是之前放入/home/minio目录的minio文件
#–config-dir /etc/minio ：指分布式配置文件的目录在 /etc/minio

#最后2行：配置的各个节点存储数据的挂载目录。这里指：在分别在192.168.71.11和192.168.71.12服务器，挂载/home/miniodata/data1和/home/miniodata/data2目录为存储数据的目录。每个节点挂载2个磁盘目录。


#准备minio.service系统服务文件，将minio加入系统服务

vim /usr/lib/systemd/system/minio.service


[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/home/minio/run/
ExecStart=/home/minio/run/minio-run.sh

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target



#修改配置文件后需要重加载配置
systemctl daemon-reload

#权限修改
chmod +x /usr/lib/systemd/system/minio.service && chmod +x /home/minio/run/minio && chmod +x /home/minio/run/minio-run.sh

#分别在192.168.71.11和192.168.71.12机器执行以下命令，启动Minio集群
systemctl start minio
systemctl enable minio

#停止minio
systemctl stop minio

#查看集群日志
journalctl -u minio.service -f

#查看集群状态

systemctl status minio.service -l

集群启动成功
请添加图片描述

访问192.168.71.11:9000

请添加图片描述

Minio集群扩展

MinIO 支持两种扩展方式：

  • 通过修改命令行，在命令行上指定新的集群集来扩展
  • 通过引入第三方组件etcd，在不动原有集群的基础上实现动态扩展方案

MinIO集群扩容方法，常见的集群扩容方法可分为两类：

​ 水平扩容和垂直扩容。水平扩容，一般指通过增加节点数扩展系统性能；而垂直扩容则指提升各节点自身的性能，例如增加节点的磁盘存储空间。直接采用垂直扩容方式扩容MinIO集群的节点磁盘空间，会为集群运行带来若干问题，官方也并不推荐。因此本文主要介绍MinIO的两种水平扩容方式：对等扩容和联邦扩容。

水平扩容
对等扩容

首先，MinIO的极简设计理念使得MinIO分布式集群并不支持向集群中添加单个节点并进行自动调节的扩容方式，这是因为加入单个节点后所引发的数据均衡以及纠删组划分等问题会为整个集群带来复杂的调度和处理过程，并不利于维护。因此，MinIO提供了一种对等扩容的方式，即要求增加的节点数和磁盘数均需与原集群保持对等。例如原集群包含4个节点4块磁盘，则在扩容时必须同样增加4个节点4块磁盘（或为其倍数），以便系统维持相同的数据冗余SLA，从而极大地降低扩容的复杂性。如上例，在扩容后，MinIO集群并不会对全部的8个节点进行完全的数据均衡，而是将原本的4个节点视作一个区域，新加入的4节点视作另一区域，当有新对象上传时，集群将依据各区域的可用空间比例确定存放区域，在各区域内仍旧通过哈希算法确定对应的纠删组进行最终的存放。此外，集群进行一次对等扩容后，还可依据扩容规则继续进行对等扩容，但出于安全性考虑，集群的最大节点数一般不得超过32个。

对等扩容的优点在于配置操作简单易行，通过一条命令即可完成扩容（注意：推荐使用连续的节点IP，并参照MinIO官网在扩容命令中使用{}）。而对等扩容的局限性在于：①扩容需重启；②扩容存在限制，集群节点数一般不超过32个，这是由于MinIO集群通过分布式锁保证强一致性，若集群节点数过大，维护强一致性将带来性能问题。

环境准备

主机名IPdata备注
minio1192.168.71.11/home/minio/data{1…2}原始节点
minio2192.168.71.12/home/minio/data{1…2}原始节点
minio3192.168.71.13/home/minio/data{1…2}扩展节点
minio4192.168.71.14/home/minio/data{1…2}扩展节点

1、分别在minio3、minio4进行与minio1和minio2相同的配置

2、修改minio-run.sh启动脚本**（原始节点与扩展节点都要修改）**

vim /home/minio/run/minio-run.sh

#集群节点的内容为
#!/bin/bash
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
/home/minio/run/minio server --config-dir /etc/minio \
--address ":9000" \
http://minio{1...2}/home/minio/data{1...2} \
# 扩容后的节点
http://minio{3...4}/home/minio/data{1...2}



#启动Minio集群
systemctl start minio
systemctl enable minio

#停止minio
systemctl stop minio


#查看集群日志
journalctl -u minio.service -f

#查看集群状态

systemctl status minio.service -l

集群扩容成功后，访问192.168.71.11:9000

请添加图片描述

联邦扩容

MinIO官方提供了另一种扩容机制——联邦扩容，即通过引入etcd，将多个MinIO分布式集群在逻辑上组成一个联邦，对外以一个整体提供服务，并提供统一的命名空间。其中，etcd是一个开源的分布式键值存储数据库，在联邦中用于记录存储桶IP地址。联邦内的各个集群其数据存储以及一致性维护仍由各集群自行管理，联邦只是对外提供一个整体逻辑视图。通过连接到联邦中任一集群的任一节点，可以查询并访问联邦内所有集群的全部数据，由此获得了逻辑上的空间扩大感。但实际上，对于一个外部应用访问，联邦需依赖etcd定位到存储桶的实际存储节点，再进行数据访问，联邦则对外屏蔽了桶IP查找和定位过程，从而在逻辑上对外形成了一个统一整体。因此，etcd实际上起到了类似路由寻址的效果。

请添加图片描述

联邦集群的数据访问机制

①客户端应用向联邦集群发送创建存储桶请求，桶名为bucket1；
②联邦会将bucket1实际所在的集群节点IP地址写入etcd中，例如bucket1实际将存储于联邦中的集群1上，而集群1包含2个节点，其节点IP地址分别为192.168.1.103和192.168.1.104，则etcd中将写入如下两条记录：
在这里插入图片描述
③客户端应用向联邦请求上传1个对象至bucket1；

④联邦会先查询etcd，定位到bucket1的实际存储节点103和104，再进行相应的上传操作。

优缺点

相较于对等扩容，联邦扩容的优点在于：
①联邦中的各集群不要求节点数和磁盘数的对等；
②联邦可以无限扩展，不断加入新集群；
③若联邦中某个集群出现故障，该故障将不影响联邦中的其他集群提供服务。其缺点为需要额外引入etcd，且配置过程较为复杂。

假定将两个MinIO集群组成联邦，第一个集群包含2个节点4块磁盘，第二个集群包含1个节点2个磁盘。etcd建议配置为3节点集群，以避免单点故障

环境准备

etcd集群集群1（原始集群）集群2（扩展集群）
IP192.168.71.15、192.168.71.19、192.168.71.20192.168.71.16、192.168.71.17192.168.71.18
data/home/minio/data{1…2}/home/minio/data{1…2}
#编辑/etc/hosts文件来进行主机地址映射


192.168.71.16   minio6
192.168.71.17   minio7
192.168.71.18   minio8

#修改完需要重启网络
sudo systemctl restart network

分别在192.168.71.15、192.168.71.19、192.168.71.20节点上安装etcd

下载地址：https://github.com/etcd-io/etcd/releases

mkdir -p /opt/bigdata/etcd ; cd /opt/bigdata/etcd
wget https://github.com/etcd-io/etcd/releases/download/v3.4.20/etcd-v3.4.20-linux-amd64.tar.gz
tar -xf etcd-v3.4.20-linux-amd64.tar.gz
# 创建存储目录
mkdir /opt/bigdata/etcd/data

#创建配置文件
mkdir -p /usr/local/etcd
cd /usr/local/etcd
touch conf.yml


name: etcd01
data-dir: /opt/bigdata/etcd/data
initial-advertise-peer-urls: http://192.168.71.15:2380
listen-peer-urls: http://192.168.71.15:2380
listen-client-urls: http://192.168.71.15:2379,http://127.0.0.1:2379
advertise-client-urls: http://192.168.71.15:2379
initial-cluster-token: etcd-cluster
initial-cluster: etcd01=http://192.168.71.15:2380,etcd02=http://192.168.71.19:2380,etcd03=http://192.168.71.20:2380
initial-cluster-state: new


name: etcd02
data-dir: /opt/bigdata/etcd/data
initial-advertise-peer-urls: http://192.168.71.19:2380
listen-peer-urls: http://192.168.71.19:2380
listen-client-urls: http://192.168.71.19:2379,http://127.0.0.1:2379
advertise-client-urls: http://192.168.71.19:2379
initial-cluster-token: etcd-cluster
initial-cluster: etcd01=http://192.168.71.15:2380,etcd02=http://192.168.71.19:2380,etcd03=http://192.168.71.20:2380
initial-cluster-state: new


name: etcd03
data-dir: /opt/bigdata/etcd/data
initial-advertise-peer-urls: http://192.168.71.20:2380
listen-peer-urls: http://192.168.71.20:2380
listen-client-urls: http://192.168.71.20:2379,http://127.0.0.1:2379
advertise-client-urls: http://192.168.71.20:2379
initial-cluster-token: etcd-cluster
initial-cluster: etcd01=http://192.168.71.15:2380,etcd02=http://192.168.71.19:2380,etcd03=http://192.168.71.20:2380
initial-cluster-state: new



配置参数解析：
name：当前etcd节点名称。
data-dir：数据存储目录。
initial-advertise-peer-urls：集群的其他节点通过该地址与当前节点通信。
listen-peer-urls：当前节点通过该地址监听集群其他节点发送的信息。
listen-client-urls：当前节点通过该地址监听客户端发送的信息。
advertise-client-urls：客户端通过该地址与当前节点通信
initial-cluster-token：用于区分不同的集群，同一集群的所有节点配置相同的值。
initial-cluster：当前集群的所有节点信息，当前节点根据此信息与其他节点取得联系。
initial-cluster-state： 本次是否为新建集群，有两个取值：new和existing。




#etcd配置服务

vim /usr/lib/systemd/system/etcd.service


[Unit]
Description=etcd
After=network.target
 
[Service]
Type=notify
ExecStart=/opt/bigdata/etcd/etcd-v3.4.20-linux-amd64/etcd --config-file=/usr/local/etcd/conf.yml
 
[Install]
WantedBy=multi-user.target


#启动服务
systemctl daemon-reload
systemctl start etcd.service



#验证
# 加软连接
ln -s /opt/bigdata/etcd/etcd-v3.4.20-linux-amd64/etcdctl /usr/local/bin/etcdctl

# 查看集群成员列表
etcdctl member list
# 查看集群成员健康情况
etcdctl endpoint health --endpoints=http://192.168.71.15:2380,http://192.168.71.19:2380,http://192.168.71.20:2380

#查看etcd版本
ln -s /opt/bigdata/etcd/etcd-v3.4.20-linux-amd64/etcd /usr/local/bin/etcd
etcd --version

执行命令etcdctl member list，若能显示三个节点信息，则etcd集群部署成功
请添加图片描述

注意：

​ 修改/usr/local/etcd/conf.yml文件后，要首先删除data-dir: /opt/bigdata/etcd/data下的数据，在重启服务，不然会启动失败

集群1启动脚本

vim /home/minio/run/minio-run.sh
#集群1节点的内容为
#!/bin/bash
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
export MINIO_ETCD_ENDPOINTS="http://192.168.71.15:2380,http://192.168.71.19:2380,http://192.168.71.20:2380"
export MINIO_PUBLIC_IPS=192.168.71.16,192.168.71.17
export MINIO_DOMAIN=cluster1.minio.com
/home/minio/run/minio server --config-dir /etc/minio \
--address ":9000" \
http://minio{6...7}/home/minio/data{1...2} \

#注意：MinIO_ETCD_ENDPOINTS参数需与搭建的ETCD集群所有节点IP相对应；
#     MINIO_PUBLIC_IPS参数则为该集群的所有节点IP
#     MINIO_DOMAIN参数必须进行配置，即使你并不通过域名访问存储桶，否则联邦无法生效，只有MINIO_DOMAIN参数值相同的集群，才会组成联盟。



#准备minio.service系统服务文件，将minio加入系统服务

vim /usr/lib/systemd/system/minio.service


[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/home/minio/run/
ExecStart=/home/minio/run/minio-run.sh

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target


#修改配置文件后需要重加载配置
systemctl daemon-reload

#权限修改
chmod +x /usr/lib/systemd/system/minio.service && chmod +x /home/minio/run/minio && chmod +x /home/minio/run/minio-run.sh

#启动集群
systemctl start minio
systemctl enable minio


#停止minio
systemctl stop minio


#查看集群日志
journalctl -u minio.service -f

#查看集群状态

systemctl status minio.service -l

访问192.168.71.16:9000（集群1）

请添加图片描述

在集群1启动成功的基础上进行联邦扩容

扩展集群为单节点2磁盘，集群2的启动脚本如下：

vim /home/minio/run/minio-run.sh
#集群2启动脚本
#!/bin/bash
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin
export MINIO_ETCD_ENDPOINTS="http://192.168.71.15:2380,http://192.168.71.19:2380,http://192.168.71.20:2380"
export MINIO_PUBLIC_IPS=192.168.71.18
export MINIO_DOMAIN=cluster1.minio.com  
/home/minio/run/minio server --config-dir /etc/minio \
--address ":9000" \
http://minio8/home/minio/data{1...2} \


#修改配置文件后需要重加载配置
systemctl daemon-reload

#权限修改
chmod +x /usr/lib/systemd/system/minio.service && chmod +x /home/minio/run/minio && chmod +x /home/minio/run/minio-run.sh


#启动集群
systemctl start minio
systemctl enable minio

#停止minio
systemctl stop minio

#查看集群日志
journalctl -u minio.service -f

#查看集群状态

systemctl status minio.service -l

访问192.168.71.18:9000（集群2）

在这里插入图片描述

进行集群扩容测试

1、首先，连接至集群1中的192.168.71.16节点，创建存储桶uds-test，并上传1个对象；
在这里插入图片描述

2、然后连接至任一etcd节点，通过命令 ETCDCTL_API=3 etcdctl get --from-key ‘’ 查看etcd中是否已写入uds-test桶的相关记录；

在这里插入图片描述

3、最后连接至集群2中的192.168.71.18节点，测试是否能访问到uds-test及桶内对象。若能访问，则联邦模式组建成功

在这里插入图片描述

后续若需进行扩容，可参照上述配置方式分别部署集群3、集群4、集群n，由于配置了相同的etcd地址，这些集群将自动加入联邦，从而实现集群的无限扩展。

Nginx负载均衡

安装Nginx

#配置 EPEL 源
sudo yum install -y epel-release
sudo yum -y update

#安装nginx
sudo yum install -y nginx

#开启端口 80 和 443
sudo firewall-cmd --permanent --zone=public --add-service=http
sudo firewall-cmd --permanent --zone=public --add-service=https
sudo firewall-cmd --reload

#启动 Nginx
systemctl start nginx

#停止 Nginx
systemctl stop nginx
#重启 Nginx
systemctl restart nginx
#查看 Nginx 状态
systemctl status nginx
#启用开机启动 Nginx
systemctl enable nginx
# 禁用开机启动 Nginx
systemctl disable nginx

配置nginx

vim /etc/nginx/nginx.conf

upstream minio_console {
        server 192.168.71.11:9001;
        server 192.168.71.12:9001;
        server 192.168.71.13:9001;
        server 192.168.71.14:9001;
}
server {
        listen 19001;
        server_name  localhost;
        ignore_invalid_headers off;
        client_max_body_size 20M;
        proxy_buffering off;
        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
        	proxy_http_version      1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-Host $http_host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            chunked_transfer_encoding off;
            proxy_ignore_client_abort on;
            proxy_connect_timeout 300;
            proxy_pass http://minio_console;
        }
}



upstream minio_api {
        server 192.168.71.11:9000;
        server 192.168.71.12:9000;
        server 192.168.71.13:9000;
        server 192.168.71.14:9000;
}
server {
        listen 19000;
        server_name  localhost;
        ignore_invalid_headers off;
        client_max_body_size 20M;
        proxy_buffering off;
        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
        	proxy_http_version      1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header X-Forwarded-Host $http_host;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            chunked_transfer_encoding off;
            proxy_ignore_client_abort on;
            proxy_connect_timeout 300;
            proxy_pass http://minio_api;
        }
}
遇到的问题

场景1：

在这里插入图片描述

minio-run.sh脚本语法错误

场景:2：
在这里插入图片描述
发送错误的原因：Minio集群部署需要独占磁盘分区，不能使用文件夹代替。最开始直接在/home/minio目录下面创建data启动时报错，后面挂载一个磁盘后就可以了，步骤如下

添加挂载磁盘

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

#查看磁盘信息
lsblk

在这里插入图片描述

#通过命令查看磁盘信息
fdisk -l

在这里插入图片描述

#进入分区工具，进行分区
fdisk /dev/sdb

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

再次查看磁盘信息

在这里插入图片描述

#对分区进行格式化
mkfs -t ext4 /dev/sdb1
mkfs -t ext4 /dev/sdb2

在这里插入图片描述

# 挂载磁盘：使用 mount 命令来将磁盘或分区挂载到所创建的挂载点
sudo mount /dev/sdb1 /home/minio/data1
sudo mount /dev/sdb2 /home/minio/data2

在这里插入图片描述

Kevin&Hu
关注
  • 24
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
minio集群部署
派大星的不眠博客
12-08 1万+
分布式Minio可以在多个服务器节点上，多块硬盘上共享存储空间，提供对象存储服务。分布式Minio由于多节点，避免了单点故障，保证文件存储的高可用。
Minio 集群生产环境部署示例
将臣三代的博客
07-04 1028
上述步骤详细描述了如何在生产环境中部署和配置 MinIO 集群，包括安装、配置、启动、验证和安全配置等方面。通过这些步骤，你可以搭建一个高性能、高可用的分布式对象存储系统。通过这些步骤，您应该能够解决 MinIO 集群启动时节点无法连接的问题。确保每个节点的服务运行、网络连接正常、防火墙设置正确，并确认配置文件中的路径和权限设置正确，是保证 MinIO 集群正常运行的关键。如果问题仍然存在，请检查最新的错误日志，并提供更多详细信息以便进一步诊断。
Minio(官方docker版)容器部署时区问题研究记录
缘友一世的博客
05-07 2107
在使用minio(容器部署方式)的过程中，由于使用容器时间和本地时间不同，然后寻求解决方法，花费了很多时间，然后才有以下的收获和整理。整个过程耗费不少时间。本文章对于和在问题二：minio修改时间和本地查询结果不一致上均适用。在问题一：minio容器和本地容器时间不一致上在部署时，使用即可解决问题。
Minio分布式存储集群搭建(多节点多硬盘模式)
2301_76445126的博客
01-23 4916
说明，我这次的实验环境是三台服务器，每台额外分配五个数据盘，共计提供给minio集群使用为15个数据盘，因为是测试环境所以磁盘大小只给了50G，生产请自行评估，本次是将所有磁盘都格式化为xfs文件系统，格式化文件系统后我在根目录下分别创建了data1，data2，data3，data4，data5五个目录给这五个数据盘挂载，详细磁盘格式化以及挂载方法自行百度，这里不详细赘述，实在不懂就评论区问吧。vim /etc/default/minio #minio服务的环境变量文件。1.minio集群搭建。
minio分布式搭建_Minio分布式集群搭建
weixin_39850143的博客
12-20 182
一、基础环境操作系统：CentOS 7.3二、准备工作2.1、机器资源192.168.0.101/minio/data1 /minio/data2192.168.0.102/minio/data1 /minio/data2本集群由2台服务器构成(官方推荐集群最小4台服务器)，每个服务器上挂载两个磁盘目录，最小数据挂载点为4个2.2、创建相关目录(所有节点)数据存储目录mkdir -p /minio...
MINIO分布式集群的详细搭建
lxw1005192401的博客
03-28 6172
一、基础环境 操作系统：CentOS 7.3 Minio下载 将下载好的minio移动到 /opt/minio/文件夹下 或 者进入到/opt/minio/文件夹下使用下面的命令下载： wgethttps://dl.minio.io/server/minio/release/linux-amd64/minio 二、准备工作 2.1、机器资源 192.168.129.133 挂载磁盘路径：/data/minio_data 192.168.129.135 挂载磁盘路径：/data/mi...
minio分布式集群搭建
qq_40112494的博客
08-15 994
输入集群任意节点地址+9001或者9002端口，9001是服务端端口，9002是控制台端口，即可访问minio，用户名密码为前面设置的“MINIO_ACCESS_KEY”和“MINIO_SECRET_KEY”生产环境建议至少四台机器，这样挂掉一台机器集群依然可以读写，挂掉两台机器集群依然可读。192.168.3.173挂载磁盘路径：/data/data1和/data/data2。192.168.3.174挂载磁盘路径：/data/data1和/data/data2。#将下载好的minio文件赋予权限。...
Centos7搭建minio分布式集群
10-27
在CentOS 7上搭建MinIO分布式集群是一项重要的IT任务，这将帮助我们构建一个可扩展、高可用的云存储解决方案。下面将详细阐述如何在CentOS 7系统上实现这个过程。 首先，我们需要了解MinIO的基本概念。MinIO由多个...
minio分布式部署搭建文档及安装程序
02-16
提供的`minio分布式部署搭建文档.docx`应该详细介绍了每个步骤，包括服务器配置、集群设置、安全策略等。务必仔细阅读并按照文档操作。同时，官方文档也是重要的参考资料，包含了丰富的教程和API参考。 总结来说，...
minio分布式存储
12-18
通过使用`bin`目录下的文件，用户可以下载MinIO的二进制包，按照官方文档的指导进行安装和配置，从而搭建自己的分布式存储系统。 总的来说，MinIO作为一款优秀的分布式存储解决方案，它在性能、扩展性、安全性和...
Linux环境MinIO单机安装、集群搭建，数据同步，策略示例。
09-19
本文将详细介绍如何在Ubuntu 20.04上进行MinIO的单机安装、集群搭建、数据同步以及设置策略。 首先，让我们看看单机安装的步骤： 1. **下载MinIO Server**：使用`wget`命令从官方站点下载最新版的Linux-amd64架构...
minio集群部署.docx
12-24
基于linux的minio集群部署文档，腾讯云租用2个云服务器，每个服务器两个节点，共4个节点
CentOS Minio集群安装
01-24
Minio 分布式集群搭建可以参考以下地址： 知识点7：集群配置 集群配置包括配置虚拟机、安装 CentOS、配置 ifconfig 命令和配置 XShell 工具等。 知识点8：高可用性和高性能 Minio 分布式集群可以实现高可用性和...
手把手教你搭建MinIO分布式集群
m0_67401270的博客
07-31 1452
minio.service文件[Unit][Service]
Minio 纠删码及分布式Minio集群环境搭建
奔走的蚂蚁的博客
05-12 758
纠删码是一种用于重建丢失或损坏数据的数学算法。纠删码（erasure coding，EC）是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，你可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下的盘中的数据进行恢复。
Minio 分布式集群部署
Gblfy_Blog
09-21 5494
文章目录一、分布式存储可靠性常用方法1. 概述2. 冗余3. 校验二、分布式Minio优势2.1. 数据保护2.2. 高可用2.3.一致性三、运行分布式Minio3.1. 启动方案简述3.2. 案例说明3.3. 制作分布式启动脚本3.4. 制作伪分布式启动脚本3.5. 登录minio四、分布式Minio负载均衡4.1. nginx安装4.2. 配置nginx4.3. 停止nginx服务4.4. 重新启动nginx4.5. 登录monio 分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象.
Minio多主机分布式 docker-compose 集群部署
最新发布
wangqiaowq的博客
07-25 785
对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。当然 Minio 除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到 Amazon S3、MicroSoft Azure。Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。
minio分布式集群安装部署实战详细手册
热门推荐
少说，多做
10-11 1万+
Minio是GlusterFS创始人之一Anand Babu Periasamy发布新的开源项目。基于Apache License v2.0开源协议的对象存储项目，采用Golang实现，客户端支Java,Python,Javacript, Golang语言。其设计的主要目标是作为私有云对象存储的标准方案。主要用于存储海量的图片，视频，文档等。非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。
minio 集群搭建
02-20
MinIO是一个开源的对象存储服务器，它兼容Amazon S3云存储服务的API。通过搭建MinIO集群，可以实现高可用性和可扩展性的对象存储解决方案。 要搭建MinIO集群，可以按照以下步骤进行操作： 1. 下载MinIO服务器：从MinIO的官方网站（https://min.io/）下载适用于您的操作系统的MinIO服务器软件包。 2. 配置MinIO服务器：编辑MinIO服务器的配置文件，指定存储目录、访问密钥等参数。您可以根据需要进行自定义配置。 3. 启动MinIO服务器：运行MinIO服务器软件包中的可执行文件，启动单个MinIO实例。 4. 添加节点：在同一网络中添加更多的MinIO节点，每个节点都需要具有独立的存储目录和访问密钥。确保所有节点都可以相互通信。 5. 设置分布式模式：使用MinIO客户端工具设置分布式模式，将多个MinIO节点组成一个集群。您可以指定节点的访问地址、访问密钥等信息。 6. 验证集群：使用MinIO客户端工具连接到集群，并验证数据的读写操作是否正常。 7. 配置负载均衡：为了实现负载均衡和高可用性，可以在MinIO集群前面添加负载均衡器，例如Nginx或HAProxy。 请注意，以上步骤仅为搭建MinIO集群的基本流程，具体操作可能因环境和需求而有所不同。建议您参考MinIO官方文档或社区资源，以获取更详细的指导和最佳实践。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值