Minio

惰立

已于 2022-08-28 17:41:53 修改

阅读量4.4k

点赞数

分类专栏：运维文章标签：大数据 java 数据库

于 2022-08-28 17:35:56 首次发布

本文链接：https://blog.csdn.net/weixin_48360967/article/details/126572067

版权

运维专栏收录该内容

10 篇文章 0 订阅

订阅专栏

1.概述

MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。

官方文档：https://docs.min.io/
中文文档：http://docs.minio.org.cn/docs/
GitHub 地址：https://github.com/minio/minio

特点：

数据保护——分布式 Minio 采用纠删码来防范多个节点宕机和位衰减 bit rot。分布式 Minio 至少需要 4 个硬盘，使用分布式 Minio 自动引入了纠删码功能。
高可用——单机 Minio 服务存在单点故障，相反，如果是一个有 N 块硬盘的分布式 Minio,只要有 N/2 硬盘在线，你的数据就是安全的。不过你需要至少有 N/2+1 个硬盘来创建新的对象。

例如，一个 16 节点的 Minio 集群，每个节点 16 块硬盘，就算 8 台服務器宕机，这个集群仍然是可读的，不过你需要 9 台服務器才能写数据。

【温馨提示】只要遵守分布式 Minio 的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用 2 个节点，每个节点 4 块硬盘，也可以使用 4 个节点，每个节点两块硬盘，诸如此类。

一致性——Minio 在分布式和单机模式下，所有读写操作都严格遵守 read-after-write 一致性模型。

MinIO 的优点如下：

部署简单，一个二进制文件（minio）即是一切，还可以支持各种平台
支持海量存储，可以按 zone 扩展，支持单个对象最大 5TB
低冗余且磁盘损坏高容忍，标准且最高的数据冗余系数为 2(即存储一个 1M 的数据对象，实际占用磁盘空间为 2M)。但在任意 n/2 块 disk 损坏的情况下依然可以读出数据(n 为一个纠删码集合中的 disk 数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的
读写性能优异

2.基础概念

S3——Simple Storage Service，简单存储服务，这个概念是 Amazon 在 2006 年推出的，对象存储就是从那个时候诞生的。S3 提供了一个简单 Web 服务接口，可用于随时在 Web 上的任何位置存储和检索任何数量的数据。
Object——存储到 Minio 的基本对象，如文件、字节流，Anything…
Bucket——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的。
Drive——部署 Minio 时设置的磁盘，Minio 中所有的对象数据都会存储在 Drive 里。
Set——一组 Drive 的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个 Set 中的 Drive 分布在不同位置。
- 一个对象存储在一个 Set 上
- 一个集群划分为多个 Set
- 一个 Set 包含的 Drive 数量是固定的，默认由系统根据集群规模自动计算得出
- 一个 SET 中的 Drive 尽可能分布在不同的节点上

Set /Drive 的关系

Set /Drive 这两个概念是 MINIO 里面最重要的两个概念，一个对象最终是存储在 Set 上面的。
Set 是另外一个概念，Set 是一组 Drive 的集合，图中，所有蓝色、橙色背景的 Drive（硬盘）的就组成了一个 Set。

请添加图片描述

3.纠删码（Erasure Code）

纠删码（Erasure Code）简称 EC，是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。

纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6 等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。
Erasure Code 是一种编码技术，它可以将 n 份原始数据，增加 m 份校验数据，并能通过 n+m 份中的任意 n 份原始数据，还原为原始数据。
即如果有任意小于等于 m 份的校验数据失效，仍然能通过剩下的数据还原出来。
Minio 采用 Reed-Solomon code 将对象拆分成 N/2 数据和 N/2 奇偶校验块。
在同一集群内，MinIO 自己会自动生成若干纠删组（Set），用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。

4.部署模式

4.1 单主机，单硬盘

该模式下，Minio 只在一台服务器上搭建服务，且数据都存在单块磁盘上，该模式存在单点风险，主要用作开发、测试等使用

请添加图片描述

4.2 单主机，多硬盘

该模式下，Minio 在一台服务器上搭建服务，但数据分散在多块（大于 4 块）磁盘上，提供了数据上的安全保障。

请添加图片描述

4.3 多主机，多硬盘（分布式）

该模式是 Minio 服务最常用的架构，通过共享一个 access_key 和 secret_key,在多台服务器上搭建服务，且数据分散在多块（大于 4 块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon 纠删码）。

请添加图片描述

5.部署

5.1 Minio–单机

minio-server

点击下载： minio

# 下载二进制文件
cd /usr/local/bin/ && wget https://dl.min.io/server/minio/release/linux-amd64/minio && chmod +x minio
# 创建目录
mkdir -p /data/minio && touch /data/minio/minio.log
# 设置ak、sk
export MINIO_ACCESS_KEY=minioadmin
export MINIO_SECRET_KEY=minioadmin
# 启动
nohup minio server --address 172.10.10.10:9005 --console-address 172.10.10.10:9006 /data/minio > /data/minio/minio.log 2>&1 &

minio-client

点击下载：mc

# 下载二进制文件
cd /usr/local/bin/ && wget https://dl.min.io/client/mc/release/linux-amd64/mc && chmod +x mc
# 查看 mc 版本
mc version

minio-client 命令

ls       列出文件和文件夹
mb       创建一个存储桶或一个文件夹
cat      显示文件和对象内容
pipe     将一个STDIN重定向到一个对象或者文件或者STDOUT
share    生成用于共享的URL
cp       拷贝文件和对象
mirror   给存储桶和文件夹做镜像
find     基于参数查找文件
diff     对两个文件夹或者存储桶比较差异
rm       删除文件和对象
events   管理对象通知
watch    监听文件和对象的事件
policy   管理访问策略
session  为cp命令管理保存的会话
config   管理mc配置文件
update   检查软件更新
version  输出版本信息

config

config host 命令提供了一个方便地管理~/.mc/config.json配置文件中的主机信息的方式，也可以用文本编辑器手动修改这个配置文件

用法：
  mc config host COMMAND [COMMAND FLAGS | -h] [ARGUMENTS...]

COMMANDS:
  add, a      添加一个新的主机到配置文件
  remove, rm  从配置文件中删除一个主机
  list, ls    列出配置文件中的主机

FLAGS:
  --help, -h                       显示帮助

添加 server 节点，名称为 minio1

# 添加server，名称为minio1 (shell的history特性可能会记录这些信息，从而带来安全隐患。在bash shell,使用set -o和set +o来关闭和开启history特性)
set +o history
mc config host add minio1 http://192.168.0.220:9005 minioadmin minioadmin --api s3v4
set -o history

mb

创建存储桶。MinIO对每个用户创建的存储桶数量没有限制。在Amazon S3上，每个帐户被限制为100个存储桶

用法：
   mc mb [FLAGS] TARGET [TARGET...]

FLAGS:
  --help, -h                   显示帮助
  --region "us-east-1"         指定存储桶的region，默认是‘us-east-1’

在 minio1 上创建一个名为“bucket”的存储桶

mc mb minio1/bucket

ls

列出存储桶、对象

用法：
   mc ls [FLAGS] TARGET [TARGET ...]

FLAGS:
  --help, -h               显示帮助
  --recursive, -r          递归
  --incomplete, -I         列出未完整上传的对象

列出 minio1 所有桶

mc ls minio1

列出 minio1 上的存储桶 bucket 下的文件

mc ls minio1/bucket/

cp

拷贝本地的一个或多个源文件到对象存储。所有到对象存储的拷贝操作都进行了MD4SUM checkSUM校验。可以从故障点恢复中断或失败的复制操作

用法：
   mc cp [FLAGS] SOURCE [SOURCE...] TARGET
FLAGS:
  --help, -h               显示帮助
  --recursive, -r          递归拷贝

拷贝一个本地文件 test.txt 到 minio1/bucket

mc cp test.txt minio1/bucket/

pipe

pipe到对象。pipe命令拷贝stdin里的内容到目标输出，如果没有指定目标输出，则输出到stdout

用法：
   mc pipe [FLAGS] [TARGET]

FLAGS:
  --help, -h                    显示帮助

将MySQL数据库dump文件输出到Amazon S3

mysqldump -u root -p ******* accountsdb | mc pipe s3/sql-backups/backups/accountsdb-oct-9-2015.sql

rm

删除文件对象或存储桶

用法：
   mc rm [FLAGS] TARGET [TARGET ...]

FLAGS:
  --help, -h            显示帮助
  --recursive, -r       递归删除
  --force               强制执行删除操作
  --prefix              删除批配这个前缀的对象
  --incomplete, -I      删除未完整上传的对象
  --fake                模拟一个假的删除操作
  --stdin               从STDIN中读对象列表
  --older-than value    删除N天前的对象（默认是0天）

删除 minio1 下的 bucket 桶

mc rm minio1/bucket

删除 minio1 下的 bucket 桶中的 test.txt 文件

mc rm minio1/bucket/test.txt

递归删除 minio1 下的 bucket 桶中的所有内容

mc rm --recursive --force minio1/bucket/

从 bucket 里删除未完整上传的对象

mc rm  --incomplete --recursive --force minio1/bucket/

删除1天前的对象

mc rm --force --older-than=1 minio1/bucket/

5.2 Minio–分布式

请添加图片描述

环境准备

Hostname	IP	Data_Dir	Disk	System
learn-1	192.168.0.109	/minio/data{1,2,3,4}	sd{b,c,d,e}	CentOS 7.6
learn-2	192.168.0.110	/minio/data{1,2,3,4}	sd{b,c,d,e}	CentOS 7.6
learn-3	192.168.0.111	/minio/data{1,2,3,4}	sd{b,c,d,e}	CentOS 7.6
learn-4	192.168.0.112			CentOS 7.6

【温馨提示】磁盘大小必须>1G，这里我添加的是 4*2G 的盘

下载

cd /usr/local/bin/ && wget https://dl.min.io/server/minio/release/linux-amd64/minio && chmod +x minio
minio -version

磁盘初始化

# 不重启，直接刷新磁盘数据总线，获取新加的磁盘
for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done
# 查看磁盘
fdisk -l
# 格式化
mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd
mkfs.ext4 /dev/sde
# 分别在三个节点上创建存储目录
mkdir -p /minio/data{1,2,3,4}
# 挂载
mount /dev/sdb /minio/data1
mount /dev/sdc /minio/data2
mount /dev/sdd /minio/data3
mount /dev/sde /minio/data4

配置

Minio 默认9000端口，在配置文件中加入–address “127.0.0.1:9029” 可更改端口

MINIO_ACCESS_KEY：用户名，长度最小是 5 个字符
MINIO_SECRET_KEY：密码，密码不能设置过于简单，不然 minio 会启动失败，长度最小是 8 个字符
–config-dir：指定集群配置文件目录
–address：api 的端口，默认是9000
--console-address ：web 端口，默认随机

编写启动脚本（/minio/run.sh）

#!/bin/bash
# 创建日志存储路径
if [ ! -d "/minio/logs" ];then
  mkdir -p /minio/logs
fi
# 创建配置目录
if [ ! -d "//minio/minio" ];then
  mkdir -p /minio/minio
fi

# 设置ak、sk
export MINIO_ROOT_USER=minioadmin
export MINIO_ROOT_PASSWORD=minioadmin

# 在三台机器上都执行该文件，即以分布式的方式启动了MINIO
# --address "0.0.0.0:9005" 挂载9001端口为api端口（如Java客户端）访问的端口
# --console-address ":9006" 挂载9000端口为web端口；
minio server --address 0.0.0.0:9005 --console-address 0.0.0.0:9006 --config-dir /minio/minio \
http://192.168.0.109/minio/data1 \
http://192.168.0.109/minio/data2 \
http://192.168.0.109/minio/data3 \
http://192.168.0.109/minio/data4 \
http://192.168.0.110/minio/data1 \
http://192.168.0.110/minio/data2 \
http://192.168.0.110/minio/data3 \
http://192.168.0.110/minio/data4 \
http://192.168.0.111/minio/data1 \
http://192.168.0.111/minio/data2 \
http://192.168.0.111/minio/data3 \
http://192.168.0.111/minio/data4 > /minio/logs/minio_server.log

【温馨提示】下面脚本复制时 \ 后不要有空格，还有就是上面的目录是对应的一块磁盘，而非简单的在/minio/data 目录下创建四个目录，要不然会报如下错误，看提示以为是 root 权限问题。part of root disk, will not be used (*errors.errorString)

启动服务

# 在三台机器上都执行该文件，即以分布式的方式启动了MINIO
sh /minio/run.sh

添加或修改 minio.service，通过 systemctl 启停服务（推荐）

WorkingDirectory：二进制文件目录
ExecStart：指定集群启动脚本

# 如果使用rpm安装，minio.service就会自动生成，只要修改就行
cat > /usr/lib/systemd/system/minio.service <<EOF
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
After=network.target

[Service]
Type=forking
ExecStart=/minio/run.sh

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

修改文件权限

chmod +x /minio/run.sh

启动集群

 #重新加载服务
systemctl daemon-reload
#启动服务
systemctl start minio
#加入自启动
systemctl enable minio

访问 MinIO，三个节点都可以访问
http://192.168.0.109:9006
http://192.168.0.110:9006
http://192.168.0.111:9006

账号密码：minioadmin/minioadmin

请添加图片描述

使用nginx负载均衡

learn-4 192.168.0.112

安装nginx

# 安装nginx
yum install epel-release -y
yum install nginx -y
systemctl start nginx
systemctl status nginx
systemctl enable nginx

配置

vi  /etc/nginx/conf.d/minio.conf

upstream minio_api {
    server 192.168.0.109:9005;
    server 192.168.0.110:9005;
    server 192.168.0.111:9005;
}

upstream minio_console {
    server 192.168.0.109:9006;
    server 192.168.0.110:9006;
    server 192.168.0.111:9006;
}

server{
    listen       9005;
    server_name  192.168.0.112;

    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;

    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;

        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;

        proxy_pass http://minio_api;
    }
}

server{
    listen       9006;
    server_name  192.168.0.112;

    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;

    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;

        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;

        proxy_pass http://minio_console;
    }
}

重启nginx

# 检查配置文件
nginx -t
# 重启
nginx -s reload
# 或者
systemctl daemon-reload && systemctl restart nginx

浏览器访问

http://192.168.0.112:9006/

请添加图片描述

minio客户端（mc）

MinIO Client mc 命令行工具为 UNIX 命令（如 ls、cat、cp、mirror 和）提供了一种现代替代方案，并 diff 支持文件系统和兼容 Amazon S3 的云存储服务。
mc 命令行工具是为与 AWS S3 API 兼容而构建的，并针对预期的功能和行为测试了 MinIO 和 AWS S3。
MinIO 不为其他与 S3 兼容的服务提供任何保证，因为它们的 S3 API 实现是未知的，因此不受支持。虽然 mc 命令可以按文档说明工作，但任何此类使用都需要您自担风险。

下载

cd /usr/local/bin/ && wget https://dl.min.io/client/mc/release/linux-amd64/mc && chmod +x mc

添加 minio 存储服务

# 明文输入
mc config host add minio http://192.168.0.112:9005 minioadmin minioadmin

# 密文输入（推荐）
mc config host add minio http://192.168.0.112:9005
Enter Access Key: minioadmin
Enter Secret Key: minioadmin

测试

# 获取已配置别名 “ minio ” 的MinIO服务器信息
mc admin info minio

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ry0p3Nrw-1661679165613)(…/AppData/Roaming/Typora/typora-user-images/image-20220828171653508.png)]

更多示例操作，可以参考官方文档：http://docs.minio.org.cn/docs/master/minio-admin-complete-guide

任何此类使用都需要您自担风险。

下载

cd /usr/local/bin/ && wget https://dl.min.io/client/mc/release/linux-amd64/mc && chmod +x mc

添加 minio 存储服务

# 明文输入
mc config host add minio http://192.168.0.112:9005 minioadmin minioadmin

# 密文输入（推荐）
mc config host add minio http://192.168.0.112:9005
Enter Access Key: minioadmin
Enter Secret Key: minioadmin

测试

# 获取已配置别名 “ minio ” 的MinIO服务器信息
mc admin info minio

请添加图片描述

更多示例操作，可以参考官方文档：http://docs.minio.org.cn/docs/master/minio-admin-complete-guide

惰立

关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Minio

文章目录

1.概述

2.基础概念

3.纠删码（Erasure Code）

4.部署模式

4.1 单主机，单硬盘

4.3 多主机，多硬盘（分布式）

5.部署

5.1 Minio–单机

minio-server

minio-client

minio-client 命令

config

mb

ls

cp

pipe

rm

5.2 Minio–分布式

环境准备

下载

磁盘初始化

配置

启动服务

使用nginx负载均衡

minio客户端（mc）