minIO集群etcd部署和联邦扩容+nginx负载均衡实践

于 2024-06-10 20:22:04 发布
阅读量825 收藏 28
点赞数 25
文章标签： etcd nginx 负载均衡 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Beevar_Bee/article/details/139574291
版权

minIO集群etcd部署和联邦扩容+nginx负载均衡实践

1 任务背景

公司有一个OA系统，其中有一个文件子系统模块，用于处理用户办公文件，主要是各种office word、excel、ppt、wps等日常办公文件，这个子系统还承载了在线编辑文档的存取，由于在线编辑需要保存大量历史版本的过程文件，这使得文件系统需要保存的文件大小快速增长，年预估达100T级别，如果系统升级为面向企业的平台，那么存储需求就更大了，PB级别的存储量是很正常的事情。
在面对如此庞大的存储需求，我们通常有两种方案可以选择，一是使用阿里云、腾讯云、华为云等对象存储服务，二是自建存储服务器。第一种方案是最省事也是最容易实现的方案，但数据托管在别人的服务器上，始终觉得心里不踏实，而且费用也是非常可观的。第二种方案虽然要求技术支持高，部署过程复杂，但数据始终是存储在自己的机房里，所谓“我命由我不由天”，命运掌握在自己手里。

2 技术选型

经过一番调研，我决定选用minIO作为文件存储系统。MinIO 是一个高性能的分布式对象存储系统，旨在提供与 Amazon S3 API 兼容的存储服务。它被设计为简单、可扩展且高度可靠，适用于大规模的数据存储和处理需求。而管理minIO分布式系统的工具，etcd是不二之选，天生与minIO无缝结合，打造高可用大规模分布式文件系统的最佳组合。Etcd 是一个分布式键值存储系统，专门用于分布式系统中存储配置信息、元数据和其他关键数据，其起到了minIO服务的管理作用，有点类似于微服务框架中的服务管理中心Nacos，提供了minIO服务的注册与发现、配置管理、服务选举等功能。

关键词：etcdminio联邦扩容分布式文件系统

3 拓扑规划

这次实践是作为生产环境的一次单元测试，我不可能使用那么多真机来试验，所以使用虚拟机进行模拟，本次实验使用vmware station安装的ubuntu，总共7个服务器。

ip地址角色磁盘挂载
192.168.0.102etcd服务（无需挂载额外磁盘）
192.168.0.103etcd服务（无需挂载额外磁盘）
192.168.0.104etcd服务（无需挂载额外磁盘）
192.168.0.106minIO服务/home/user/minio/data1, /home/user/minio/data2
192.168.0.107minIO服务/home/user/minio/data1, /home/user/minio/data2
192.168.0.109minIO服务/home/user/minio/data1, /home/user/minio/data2
192.168.0.110minIO服务/home/user/minio/data1, /home/user/minio/data2

其中

  • 192.168.0.102，192.168.0.103，192.168.0.104作为etcd服务集群。
  • 192.168.0.106，192.168.0.107作为第一个minIO服务集群，分别挂载两个额外的独立磁盘，为了验证分布式和扩展特性，每个磁盘大小只安排了1G，特意很容易就让磁盘写满。
  • 192.168.0.109，192.168.0.110作为第二个minIO服务集群。

具于如何为虚拟机划拨和挂载磁盘，后续文章将给出详细的操作步骤。

4 实施步骤

4.1 部署etcd服务集群

在每台etcd服务器上，进行如下相同的操作：

  • 创建etcd工作目录
mkdir -p /home/user/etcd/data
mkdir -p /home/user/etcd/bin
mkdir -p /home/user/etcd/conf
  • 下载etcd程序
cd /home/user/etcd
wget https://github.com/etcd-io/etcd/releases/download/v3.5.14/etcd-v3.5.14-linux-amd64.tar.gz
tar -xvf etcd-v3.5.14-linux-amd64.tar.gz
mv etcd-v3.5.14-linux-amd64/etcd bin/
mv etcd-v3.5.14-linux-amd64/etcdctl bin/
mv etcd-v3.5.14-linux-amd64/etcdutl bin/
rm -rf etcd-v3.5.14-linux-amd64
rm -rf etcd-v3.5.14-linux-amd64.tar.gz
chmod +x bin/etcd
chmod +x bin/etcdctl 
chmod +x bin/etcdutl
  • 配置
vim conf/etcd.conf

192.168.0.102的etcd配置：

name: etcd1
data-dir: /home/user/etcd/data
initial-advertise-peer-urls: http://192.168.0.102:2380
listen-peer-urls: http://0.0.0.0:2380
listen-client-urls: http://0.0.0.0:2379
advertise-client-urls: http://192.168.0.102:2379
initial-cluster-token: etcd-cluster-token-for-minio-zxht
initial-cluster: etcd1=http://192.168.0.102:2380,etcd2=http://192.168.0.103:2380,etcd3=http://192.168.0.105:2380
initial-cluster-state: new

192.168.0.103的etcd配置：

name: etcd2
data-dir: /home/user/etcd/data
initial-advertise-peer-urls: http://192.168.0.103:2380
listen-peer-urls: http://0.0.0.0:2380
listen-client-urls: http://0.0.0.0:2379
advertise-client-urls: http://192.168.0.103:2379
initial-cluster-token: etcd-cluster-token-for-minio-zxht
initial-cluster: etcd1=http://192.168.0.102:2380,etcd2=http://192.168.0.103:2380,etcd3=http://192.168.0.105:2380
initial-cluster-state: new

192.168.0.105的etcd配置：

name: etcd2
data-dir: /home/user/etcd/data
initial-advertise-peer-urls: http://192.168.0.105:2380
listen-peer-urls: http://0.0.0.0:2380
listen-client-urls: http://0.0.0.0:2379
advertise-client-urls: http://192.168.0.105:2379
initial-cluster-token: etcd-cluster-token-for-minio-zxht
initial-cluster: etcd1=http://192.168.0.102:2380,etcd2=http://192.168.0.103:2380,etcd3=http://192.168.0.105:2380
initial-cluster-state: new
  • 启动etcd集群

在每台etcd服务器上启动服务：

cd /home/user/etcd
bin/etcd --config-file /home/user/etcd/conf/etcd.conf

注意，在启动etcd集群之前，确保每个etcd服务器的防火墙已经放行了2379和2380端口。

etcd日志打印
在这里插入图片描述

  • 查看etcd集群工作状态
bin/etcdctl member list

若输出如下信息，则说明etcd集群启动成功：

在这里插入图片描述

4.2 部署minIO集群

根据规划，我先部署第一个minIO集群，在服务器192.168.0.106，192.168.0.107上分别进行如下的操作：

  • 下载minio程序

因为在挂载磁盘时，我们已经创建了minio工作目录，所以在此无需创建，直接进入这个目录即可

cd /home/user/minio
wget https://dl.minio.io/server/minio/release/linux-amd64/minio
chmod +x minio
  • 设置启动脚本

作为可开机自启动的服务，我应该把minio放入linux的systemd的service里面，但这里作为实验，方便查看log等原因，只需要简单配置启动脚本就可以了。

vim start.sh

export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123
export MINIO_ETCD_ENDPOINTS="http://192.168.0.102:2379,http://192.168.0.103:2379,http://192.168.0.105:2379"
export MINIO_PUBLIC_IPS=192.168.0.106,192.168.0.107
export MINIO_DOMAIN=domain.com
./minio server --address ":9000" --console-address ":9999" http://192.168.0.{106...107}/home/user/minio/data{1...2}

注意，两个服务的启动脚本是一模一样的。

  • 启动minio集群
chmod +x start.sh
./start.sh

注意，在启动minio集群之前，确保每个minio服务器的防火墙都已经放行了9000和9999端口。

启动成功后控制台打印的日志应该如下：
在这里插入图片描述

5 检验效果

登录minio后台管理系统，首先登录http://192.168.0.106:9999,输入账号和密码（这个账号和密码我们已经配置在启动脚本start.sh里了）

export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123

在这里插入图片描述
然后创建一个名为bucket106的存储桶，上传些文件。

在这里插入图片描述
在这里插入图片描述
然后，登录http://192.168.0.107:9999, 我们将会看到存储桶名bucket106出现在了存储桶列表里，并且可以读写bucket106的文件。

在这里插入图片描述

6 集群扩容

我们继续上传文件到bucket106，当上传的最后一个文件的大小超过1G磁盘所剩的空间时，系统就不允许我们上传文件了。
在这里插入图片描述
这时，我们需要对系统进行集群扩容。由于我们已经使用了etcd作为minio服务的管理中心，我们只需要重复第一个集群的操作，将192.168.0.109和192.168.0.110作为第二个集群，添加到系统里面就可以了，在这里不再赘述。

7 负载均衡

我们可以使用nginx代理的方式，对minio各个节点进行负载均衡架构。我们可以选择任何一台服务器作为nginx服务器，不一定要新开一个服务器，这里就使用192.168.0.102作为nginx负载均衡服务器。

7.1 安装nginx

vim /etc/nginx/nginx.conf

7.2 配置nginx

user www-data;
worker_processes auto;
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;

events {
	worker_connections 768;
	# multi_accept on;
}

http {

	##
	# Basic Settings
	##

	sendfile on;
	tcp_nopush on;
	tcp_nodelay on;
	keepalive_timeout 65;
	types_hash_max_size 2048;
	# server_tokens off;

	# server_names_hash_bucket_size 64;
	# server_name_in_redirect off;

	include /etc/nginx/mime.types;
	default_type application/octet-stream;

	##
	# SSL Settings
	##

	ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
	ssl_prefer_server_ciphers on;

	##
	# Logging Settings
	##

	access_log /var/log/nginx/access.log;
	error_log /var/log/nginx/error.log;

	##
	# Gzip Settings
	##

	gzip on;

	# gzip_vary on;
	# gzip_proxied any;
	# gzip_comp_level 6;
	# gzip_buffers 16 8k;
	# gzip_http_version 1.1;
	# gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;

	##
	# Virtual Host Configs
	##

	#Minio 服务负载均衡
    upstream minio-server    {
        server  192.168.0.106:9000 weight=25 max_fails=2 fail_timeout=30s;
        server  192.168.0.107:9000 weight=25 max_fails=2 fail_timeout=30s;
		server  192.168.0.109:9000 weight=25 max_fails=2 fail_timeout=30s;
		server  192.168.0.110:9000 weight=25 max_fails=2 fail_timeout=30s;
    }


    #控制台负载均衡
    upstream minio-console    {
        server  192.168.0.106:9999 weight=25 max_fails=2 fail_timeout=30s;
        server  192.168.0.107:9999 weight=25 max_fails=2 fail_timeout=30s;
		server  192.168.0.109:9999 weight=25 max_fails=2 fail_timeout=30s;
		server  192.168.0.110:9999 weight=25 max_fails=2 fail_timeout=30s;
    }
    
    #Minio服务
    server {  
        listen       9030;
        server_name  minio-server;
        
        # 允许在标头中使用特殊字符
        ignore_invalid_headers off;
        # 允许任何大小的文件上传。
        # 设置为1000m等值;将文件大小限制为特定值
        client_max_body_size 1000m;
        # 禁用缓冲
        proxy_buffering off;
 
        location / {  
            root   html;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header Host $http_host;

            proxy_connect_timeout 300;
            # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
            proxy_http_version 1.1;
            proxy_set_header Connection "";
            chunked_transfer_encoding off;
             
            proxy_pass   http://minio-server;
        }
    }
    
    #Minio控制台
    server {  
        listen       9040;
        server_name  minio-console;
        
        # 允许在标头中使用特殊字符
        ignore_invalid_headers off;
        # 允许任何大小的文件上传。
        # 设置为1000m等值;将文件大小限制为特定值
        client_max_body_size 1000m;
        # 禁用缓冲
        proxy_buffering off;

        location / {  
            root   html;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
            proxy_set_header Host $http_host;

            proxy_connect_timeout 300;
            # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
            proxy_http_version 1.1;
            proxy_set_header Connection "";
            chunked_transfer_encoding off;

            proxy_pass   http://minio-console;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
        }
    }

	include /etc/nginx/conf.d/*.conf;
	include /etc/nginx/sites-enabled/*;
}

主要关注以下这几个节点的配置内容

在这里插入图片描述
在这里插入图片描述
特别注意要添加以下的配置项，不然在负载均衡9040端口访问minio服务时，会报跨域错误。
在这里插入图片描述

7.3 重启nginx

service nginx restart

7.4 访问nginx代理的服务器

访问http://192.168.0.102:9040, 进入minio控制台，就可以体验文件上传过程中文件的存储位置了，读者可自行体验，这里不再赘述。

在这里插入图片描述

Pearson
关注
  • 25
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
etcd+minio联邦扩容方案
月七
05-18 3328
文章目录场景一、etcd介绍二、准备三、配置1.etcd2.minio3.etcd Manager4.测试总结 场景 项目每日图片增加量约为20G，minio且为单机服务，存在有磁盘空间使用完导致图片存储失败情况。 为解决此问题，需要对磁盘空间进行扩容。但扩容方案只能是新增磁盘。这意味着需要解决新旧磁盘数据共享问题。 一、etcd介绍 [引用]每个 etcd cluster 都是有若干个 member 组成的，每个 member 是一个独立运行的 etcd 实例，单台机器上可以运行多个 member。
记一次minio集群搭建及联邦扩容
最新发布
weixin_46466247的博客
06-05 449
docker compose + etcd 部署minio及实现联邦扩容
minio 集群扩容
海鸥
12-25 1522
minio扩容
MinIO扩容
The_Moon_的专栏
10-17 862
minio扩容
minio如何扩容
wuxiangege的专栏
08-03 5973
网友的解决方案(记录) 扩容问题 官方解答
minio 集群、扩容
leoppeng的专栏
11-16 9844
集群搭建： 准备2台虚拟机（节点）、每个虚拟机4块硬盘(这里是4个目录，并不是真的挂了4个硬盘) 如下： 192.168.1.70 /miniodata/disk1 /miniodata/disk2 /miniodata/disk3 /miniodata/disk4 192.168.1.71 /miniodata/disk1 /miniodata/disk2 /miniodata/disk3 /mi...
MinIO部署，以及扩容
热门推荐
qq_35036073的博客
08-27 1万+
高可用 单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。 例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。 注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类
Nginx实现集群的负载均衡配置过程解析
09-30
在本文中，我们将详细探讨如何使用Nginx配置集群的负载均衡。 首先，我们要理解Nginx的负载均衡是如何工作的。Nginx的负载均衡功能实际上利用了其代理服务，将来自客户端的请求根据预设的策略分发到后端的一组...
Minio集群部署安装包
04-19
Minio集群部署安装包。Minio集群部署安装包。Minio集群部署安装包。Minio集群部署安装包。Minio集群部署安装包。Minio集群部署安装包。Minio集群部署安装包。Minio集群部署安装包。Minio集群部署安装包。Minio集群...
Linux环境MinIO单机安装、集群搭建，数据同步，策略示例。
09-19
Linux环境MinIO单机安装、集群搭建，数据同步，策略示例。 超详细，一步步学会并启动
Centos7搭建minio分布式集群
10-27
- 使用负载均衡器：为了对外提供单一入口点，可以设置一个负载均衡器（如Nginx或HAProxy）来分发请求到各个MinIO节点。配置时，确保支持HTTPS和Stick Session，以保持会话一致性。 5. **监控和管理**： - 监控...
搭建minio 集群教程
08-22
搭建minio 集群教程
minio分布式集群扩容
IT
01-03 1万+
分布式集群扩容简介 参考：https://docs.minio.io/docs/distributed-minio-quickstart-guide.html minio默认支持集群无限扩容，通过在启动命令中指定新的set即可对现有分布式纠删码群集执行扩容。 扩容示例： #创建集群 export MINIO_ACCESS_KEY=<ACCESS_KEY> export MINIO_SECRET_KEY=<SECRET_KEY> minio server http://host{1.
高性能分布式对象存储——MinIO实战操作（MinIO扩容）
匠人精神，持之以恒！
08-08 6467
MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
MinIO线上扩容实战
sdasdas12的博客
08-22 1266
硬件投入肯定是随着业务的增长而增长，这就要求中间件平台必须提供水平伸缩机制，MinIO对象存储服务也不例外，本文就详细介绍MinIO的扩容。
minio 搭建集群并动态扩容
llc的博客
04-12 5873
准备nginx配置文件 user nginx; worker_processes auto; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { worker_connections 1024; } http { include /etc/nginx/mime.types; default_type application/octet-stre
测试minio集群对等扩容
bigwood99的博客
06-21 935
通过http://192.168.1.105:9001，192.168.1.106:9001，http://192.168.1.107:9001或192.168.1.108:9001任意一个都可以访问到控制台。每个节点使用两块硬盘，挂载点分别为：/opt/minio/data/export1和/opt/minio/data/export2。/opt/minio/data/export1和/opt/minio/data/export2。关闭原来2个节点的服务，然后4个节点同时运行新的脚本。
虚拟化CentOS7新分区扩容、home分区下的minio存储扩容（商城2）
weixin_43075093的博客
11-29 1517
1、虚拟化环境ESXI6.7下的虚拟服务器，使用一段时间后，把空闲的存储空间腾出来，给新的分区使用。 2、Linux的版本为CentOS7 3、本例为部署minio存储业务做准备 4、虚拟化存储扩容
minio 集群安装部署
06-02
好的，关于 minio 集群的安装部署，以下是基本步骤： 1. 下载 minio server 可以在 minio 的官网 https://min.io/ 下载到 minio server 的二进制文件。 2. 配置 minio server 在配置文件中，需要设置以下参数： - ```access_key``` 和 ```secret_key```：用于访问 minio server 的身份验证信息。 - ```storage_directory```：设置 minio 存储数据的目录。 - ```port```：监听的端口号。 - ```region```：设置 minio 的数据分区域。 - ```erasure```：设置 minio 的数据冗余模式。 3. 启动 minio server 在所有节点上启动 minio server，确保监听的端口号和身份验证信息相同。 4. 部署负载均衡器 可以使用任何负载均衡器，比如 Nginx 或者 HAProxy 等，来分发请求至所有的 minio 节点。 5. 部署监控工具 可以使用 Prometheus 或者 Grafana 等监控工具来监控 minio 集群的运行状态。 以上是 minio 集群的基本安装部署流程，希望能对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值