手把手教你搭建MinIO分布式集群

最新推荐文章于 2024-03-13 15:10:22 发布
置顶 最新推荐文章于 2024-03-13 15:10:22 发布
阅读量1w 收藏 30
点赞数 4
分类专栏： linux MinIO 文章标签： linux 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23312117/article/details/123320513
版权

手把手教你搭建MinIO分布式集群

要求：

  1. MinIO集群规格：2节点2个磁盘。

  2. Minio域名：test_minio.com

  3. 数据目录：/opt/minio/data1,/opt/minio/data2

  4. 两节点证书保持一致

  5. 关闭防火墙

建议：参考英文官网

1. Linux场景：MinIO分布式集群构建

1.1 规定MinIO的目录结构
[root@192 opt]# tree -f minio/
minio
├── minio/bin                              # 二进制文件目录
│   └── minio/bin/minio
├── minio/certs                            # 证书文件目录
│   ├── minio/certs/private.key            # 私钥文件
│   ├── minio/certs/public.crt             # 证书文件
├── minio/config                           # 配置文件目录
├── minio/data1                            # minio数据目录1
├── minio/data2                            # minio数据目录2 
├── minio/log                              # 日志文件目录
│   └── minio/log/minio.log                # 日志文件
└── minio/run                              # 自定义脚本
    ├── minio/run/create_cert.sh           # 生成证书脚本
    ├── minio/run/minio.service            # minio service文件
    ├── minio/run/stop.sh                  # minio服务停止脚本
    └── minio/run/start.sh                 # minio服务启动脚本

8 directories, 9 files
1.2 定义minio.service和启动、停止脚本
  • minio.service文件
[Unit]
Description=Minio service
Documentation=This is a Minio Service.

[Service]
Type=forking
# 启动服务时的等待的秒数，TimeoutStartSec 的值指定为 0，从而关闭超时检测。
TimeoutStartSec=10
# 工作目录
WorkingDirectory=/opt/minio
# 服务运行用户
User=root
# 服务运行用户组
Group=root
Restart=on-failure
RestartSec=15s
ExecStart=/opt/minio/run/start.sh
ExecStop=/opt/minio/run/stop.sh

[Install]
WantedBy=multi-user.target
  • start.sh 启动脚本

注意调整CURRENT_IP的值为当前节点的IP地址。

#!/bin/bash
## MinIO启动脚本

# 设置环境变量
# 设置HOME
export MINIO_HOME=opt/minio
# 默认配置文件目录${HOME}/.minio,默认会将配置信息生成到config.json文件
export MINIO_COFNIG_DIR=/${MINIO_HOME}/config
# TLS证书目录:
#    私钥private.key
#    证书public.crt
export MINIO_CERTS_DIR=/${MINIO_HOME}/certs
# 日志目录
export MINIO_LOG_PATH=/${MINIO_HOME}/log
# 访问凭证AK
export MINIO_ROOT_USER=minio_admin
# 访问凭证SK
export MINIO_ROOT_PASSWORD=minio_admin!@#
# 是否开启web访问,默认是开启
export MINIO_BROWSER=on
# 证书密码
export MINIO_CERT_PASSWD=admin123!@#
# 支持path-style访问，默认 http://mydomain.com/bucket/object
export MINIO_DOMAIN=test_minio.com
# MINIO的集群中各节点IP
export MINIO_HOST_1=192.168.8.109
export MINIO_HOST_2=192.168.8.120
export CURRENT_IP=$MINIO_HOST_2
# 39000 为API调用接口， 9000为web console接口
# 启动minio
nohup  /${MINIO_HOME}/bin/minio server \
      --config-dir ${MINIO_COFNIG_DIR} \
      --certs-dir ${MINIO_CERTS_DIR} \
      --address ${CURRENT_IP}:39000 --console-address ":9000" \
      https://${MINIO_HOST_1}/${MINIO_HOME}/data1 https://${MINIO_HOST_1}/${MINIO_HOME}/data2 \
      https://${MINIO_HOST_2}/${MINIO_HOME}/data1 https://${MINIO_HOST_2}/${MINIO_HOME}/data2 \
      >> ${MINIO_LOG_PATH}/minio.log 2>&1 &
  • stop.sh 停止脚本
#!/bin/bash
## MinIO停止脚本
ps -ef | grep  minio | grep -v 'grep' | awk '{print $2}'| xargs kill -9

if $? != 0;then
  echo "minio service stop failed."
  exit 1
fi
1.3 生成https证书文件，参考英文官网 3.2.2 Generate a private key with RSA

因为这里创建的MinIO的规格是2节点2个磁盘，所以中创建证书时SANs中IP为本地IP和另一节点IP, DNS信息为节点的网关地址或者域名地址。

create_cert.sh 证书生成脚本,执行过程中需要自定义域名、证书路径、证书密码、另一节点IP。

#!/bin/bash
# 用来生成pem证书文件
# sh create_cert.sh
set -e

# 从外界读取输入参数到指定变量
function read_input() {
    read -p "please input $1 parms:" $2
}
# 初始化输入参数
function init_input_param() {
  read_input "cert domain" "DOMAIN"
  read_input "cert path" "CERT_PATH"
  read_input "cert password" "PASSWORD"
  read_input "peer ip" "PEER_IP"
  readonly IP=$(ip addr | grep 'state UP' -A2 | tail -n1 | awk '{print $2}' | awk -F"/" '{print $1}')
  readonly DNS=$(ip addr | grep 'state UP' -A2 | tail -n1 | awk '{print $4}' | awk -F"/" '{print $1}')
}

# 生成openssl.conf文件
function generate_openssl_config() {
cat > ${CERT_PATH}/openssl.conf <<-EOF
  [req]
  distinguished_name = req_distinguished_name
  x509_extensions = v3_req
  prompt = no

  [req_distinguished_name]
  C = CN
  ST = VA
  L = Somewhere
  O = MyOrg
  OU = MyOU
  CN = ${DOMAIN}

  [v3_req]
  subjectAltName = @alt_names

  [alt_names]
  IP.1 = 127.0.0.1
  IP.2 = ${IP}
  IP.3 = ${PEER_IP}
  DNS.1 = ${DNS}
  DNS.2 = ${DOMAIN}
EOF
}

# openssl 生成私钥
function generate_private_key() {
  # 生成长度为2048的私钥
  openssl genrsa -aes256 -passout pass:${PASSWORD} -out ${CERT_PATH}/private-pkcs8.key 2048
  # 转换为PCKS-1
  openssl rsa -passin pass:${PASSWORD} -in ${CERT_PATH}/private-pkcs8.key -aes256 -passout pass:${PASSWORD} -out ${CERT_PATH}/private.key
}

# 生成自签名文件
function generate_self_sign_cert() {
  openssl req -new -x509 -nodes -days 730 -keyout ${CERT_PATH}/private.key -passout pass:${PASSWORD} -out ${CERT_PATH}/public.crt -config ${CERT_PATH}/openssl.conf
}

# 清除
function clean() {
  rm -rf ${CERT_PATH}/openssl.conf
  rm -rf ${CERT_PATH}/private-pkcs8.key
}

# 执行流程
function main() {
  init_input_param
  generate_openssl_config
  generate_private_key
  generate_self_sign_cert
  clean
}

main

执行命令： sh create_cert.sh,输入以下参数，如图所示：
图片

1.4 验证MinIO分布式集群

执行以下命令，注册系统服务，并启动服务

mv /opt/minio/run/minio.service /etc/systemd/system/
chmod 755 /etc/systemd/system/minio.service
chmod 755 /opt/minio/run/*
# 开机自启minio.service
systemctl enable minio.service
# 刷新服务
systemctl daemon-reload
# 启动服务
systemctl start minio.service

通过web 浏览器登录console端：https://192.168.8.109:9000/login
在这里插入图片描述

查看minio.log日志
在这里插入图片描述

若1.4执行失败，可在所有节点执行如下命令清理环境，重试。

rm -rf /opt/minio/log/*
rm -rf /opt/minio/data1
rm -rf /opt/minio/data2
rm -rf /opt/minio/config
mkdir -p /opt/minio/data1
mkdir -p /opt/minio/data2
mkdir -p /opt/minio/config
systemctl start minio
1.5 FAQ
1.5.1 错误： x509: cannot validate certificate for 192.168.8.109 because it doesn’t contain any IP SANs

API: SYSTEM()
Time: 13:13:42 UTC 03/06/2022
Error: Read failed. Insufficient number of disks online (*errors.errorString)
5: cmd/prepare-storage.go:266:cmd.connectLoadInitFormats()
4: cmd/prepare-storage.go:326:cmd.waitForFormatErasure()
3: cmd/erasure-server-pool.go:91:cmd.newErasureServerPools()
2: cmd/server-main.go:640:cmd.newObjectLayer()
1: cmd/server-main.go:491:cmd.serverMain()
Waiting for a minimum of 2 disks to come online (elapsed 52s)

Unable to read ‘format.json’ from https://192.168.8.109:39000/opt/minio/data1: Post “https://192.168.8.109:39000/minio/storage/opt/minio/data1/v43/readall?disk-id=&file-path=format.json&volume=.minio.sys”: x509: cannot validate certificate for 192.168.8.109 because it doesn’t contain any IP SANs

Unable to read ‘format.json’ from https://192.168.8.109:39000/opt/minio/data2: Post “https://192.168.8.109:39000/minio/storage/opt/minio/data2/v43/readall?disk-id=&file-path=format.json&volume=.minio.sys”: x509: cannot validate certificate for 192.168.8.109 because it doesn’t contain any IP SANs

原因分析：生成证书时，SANs中IP信息不正确导致。

解决办法：使用ip -a查看机器IP，填写正确SANs信息，重新生成证书。

Q哪吒三太子
关注
  • 4
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 15
    评论
专栏目录
minio分布式部署搭建文档及安装程序
02-16
1：包含minio分布式部署搭建文档.doxc文档 2：包含minio安装文件
minio分布式存储
12-18
minio分布式存储
【运维】docker-compose安装minio集群
最新发布
飞的博客
03-13 951
要使用docker-compose部署一个MinIO集群，你需要设置多个MinIO节点以使其在分布式模式下运行。直接上干货，下面提供了一个简单的示例docker-compose.yml文件，用于部署一个由三个节点组成的MinIO集群。这些节点共享同一个网络，并使用挂载宿主机磁盘来存储数据。
基于Linux系统的minio分布式对象存储二进制文件包及启动脚本
12-02
MinIO 是一款基于Go语言发开的高性能、分布式的对象存储系统。客户端支持Java,Net,Python,Javacript, Golang语言。
Minio分布式集群部署(4节点4集群)
weixin_46155421的博客
11-08 686
Minio分布式集群部署(4节点4集群)
Linux Minio 集群搭建（全网超详细篇）
Mi_RenYu的博客
01-12 2017
继上期单体搭建后，再写一篇集群搭建版。本环境为 Rocky9.3（与Centos7 相似）
docker-compose单机部署minio集群
jungxiangyi的专栏
12-21 9662
目录 先上docker-compose.yml 具体说明 遇到的问题 及解决方案 效果 参考链接 先上docker-compose.yml和nginx.conf version: '2' services: minio1: hostname: minio1 image: 'bitnami/minio:latest' environment: - MINIO_ACCESS_KEY=minio - MINIO_SECRET_KEY=min
Minio教程
兴乐安宁的博客
08-20 6132
Minio默认9000端口，在配置文件中加入–address “127.0.0.1:9029” 可更改端口。MINIO_SECRET_KEY：密码，密码不能设置过于简单，不然minio会启动失败，长度最小是8个字符。MINIO_ACCESS_KEY：用户名，长度最小是5个字符。–config-dir：指定集群配置文件目录。集群节点192.168.3.18内容为。集群节点172.16.11.1内容为。修改配置文件后需要重加载配置。...............
minio报错：Unable to use the drive /data: invalid argument
热门推荐
qq_37106501的博客
09-07 1万+
minio
minio分布式集群部署
李振伟的博客
12-30 4345
分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。MinioMinio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。
Minio集群搭建
Purse的博客
09-09 851
Minio集群搭建
Centos7搭建minio分布式集群
10-27
Centos7搭建minio分布式集群
搭建minio 集群教程
08-22
搭建minio 集群教程
MinIO集群怎么接入Prometheus监控？(上)
SRE成长记
01-19 2347
MinIO集群接入Prometheus监控
docker-安装minio集群
别浪
05-31 2532
节点分别为192.168.1.3、192.168.1.9、192.168.1.10、192.168.1.11，以下操作除创建容器外，均可在各个节点同步执行，docker部署集群模式时必须指定-–net=host参数，使用主机网络，采用端口映射无法创建集群。Minio集群需要各个节点的时间保持同步，故选择NTP作为时间同步服务，这里将 minio1（192.168.1.3）节点作为同步服务端。登录任意一个节点的192.168.1.3:9001进行看板访问。账号admin密码admin@1196869282。
Minio部署总结
csdncjh的博客
07-16 3486
MinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等MinIO可单点部署,可分布式集群部署,操作部署方便,可支持扩容,SDK和阿里OSS用起来差不多,刚好满足我的需求,唯一缺陷就是不支持动态扩容。
Minio集群部署
登高~
01-05 472
Minio对象存储
学习笔记MinIo对象存储-Docker分布式集群搭建踩坑！
D_boj的博客
06-09 6360
​ MinIO 是一款基于Go语言的高性能对象存储服务，在Github上已有39K+Star。它采用了Apache License v2.0开源协议，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。本文将使用 MinIO 来自建一个对象存储服务用于存储图片。​ MinIO是一种高性能、分布式对象存储服务，专为云原生和容器化应用设计。对象存储：MinIO提供了一个简单而强大的对象存储接口，允许你存储和检索任意大小的文件，从几KB到几TB。
MinIO 集群搭建以及跨集群桶单向/双向同步
qq_39009778的博客
06-29 2355
分别在 minio-cluster-1-node-1 和 minio-cluster-1-node-2 执行三种方式中的任意一种。分别在 minio-cluster-2-node-1 和 minio-cluster-2-node-2 执行三种方式中的任意一种。minio-cluster-1-node-1:9000 和 minio-cluster-2-node-1:9000。# 看到如下输出即代表c1-n1-bk1 可以同步数据到 c2-n2-bk1。# 容器停止则立即删除容器 仅在测试环境中开启。
docker搭建minio分布式集群详细步骤
05-27
好的，下面是使用docker搭建minio分布式集群的详细步骤： 1. 安装Docker和Docker Compose 您需要在您的机器上安装Docker和Docker Compose。如果您还没有安装，请先安装。 2. 创建docker-compose.yml文件 在您的工作目录下创建一个名为docker-compose.yml的文件，并将以下内容复制到文件中。 ``` version: '3' services: minio1: image: minio/minio container_name: minio1 command: server http://minio{1...4}/data{1...4} ports: - "9001:9000" volumes: - ./data1:/data1 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always minio2: image: minio/minio container_name: minio2 command: server http://minio{1...4}/data{1...4} ports: - "9002:9000" volumes: - ./data2:/data2 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always minio3: image: minio/minio container_name: minio3 command: server http://minio{1...4}/data{1...4} ports: - "9003:9000" volumes: - ./data3:/data3 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always minio4: image: minio/minio container_name: minio4 command: server http://minio{1...4}/data{1...4} ports: - "9004:9000" volumes: - ./data4:/data4 environment: MINIO_ACCESS_KEY: YOUR_ACCESS_KEY MINIO_SECRET_KEY: YOUR_SECRET_KEY restart: always ``` 3. 启动集群 在您的工作目录中运行以下Docker Compose命令，以启动Minio集群。 ``` docker-compose up -d ``` 这将在您的机器上启动四个Minio容器，每个容器都有一个自己的数据卷，并且它们都在同一网络中。 4. 访问Minio UI 您可以在浏览器中访问http://localhost:9001/，并使用您的访问密钥和秘密密钥登录Minio UI。您将看到一个名为“data1”的存储桶已经被创建。 5. 添加其他节点 如果您需要添加其他节点，请在docker-compose.yml文件中添加另一个服务，并使用相同的access key和secret key。您还需要在Minio UI中添加新的节点。 这些是使用Docker Compose搭建Minio分布式集群的基本步骤。如果您需要更详细的指导，请查看Minio官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值