通过Minio实现docker-registry高可用设计文档

功能设计

功能描述

​ Minio是一个基于Apache License v2.0开源和谈的工具存储服务。它兼容亚马逊S3云存储服务接口，异常符合于存储大容量非构造化的数据，比如图片、视频、日记文献、备份数据和容器/杜撰机镜像等，而一个工具文献能够是任性巨细，从几kb到最大5T不等。且Minio十足笨重，可与使用顺序绳捆索绑在一齐，相似于NodeJS，Redis和MySQL。

创建一套使用minio存储的docker-registry核心业务流程如下图：

​ 1）在集群的四个节点启动minio容器，搭建兼容s3模式的minio分布式容器集群，将宿主机创建的磁盘路径挂载至容器中做存储目录，容器9000端口映射至宿主机9000端口，对外提供minio存储服务。

​ 2）在集群的四个节点启动keepalived容器，搭建keepalived容器集群，代理minio集群的4个web访问地址，对外暴露vip和9000端口，来提供兼容s3模式的minio存储服务。

​ 3）在集群的genesis节点启动docker-registry容器，在docker-registry配置文件中，使用s3存储类型，存储地址使用keepalived对外提供的minio-web的vip地址。

​ 4）当主节点无法正常使用时，docker-registry访问异常，这时，可使用同样的配置，在其他节点启动docker-registry即可继续正常使用，通过minio存储的高度可用性，实现 docker-registry的高可用。

功能分解

• Amazon S3兼容

  Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。

• 数据保护

  Minio使用Minio Erasure Code来防止硬件故障。也许会损坏一半以上的driver，但是仍然可以从中恢复。

• 高度可用

  Minio服务器可以容忍分布式设置中高达（N / 2）-1节点故障。而且，您可以配置Minio服务器在Minio与任意Amazon S3兼容服务器之间存储数据。

• Lambda计算

  Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。

• 加密和防篡改

  Minio为加密数据提供了机密性，完整性和真实性保证，而且性能开销微乎其微。使用AES-256-GCM，ChaCha20-Poly1305和AES-CBC支持服务器端和客户端加密。加密的对象使用AEAD服务器端加密进行防篡改。

• 可对接后端存储

  除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。

• sdk支持

  基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持

实现方案

实现

docker-registry使用通过keepalived代理的minio集群的web地址，来实现后端存储的高可用。

前置条件

​ 1) 4台服务器节点

​ 2) docker-registry容器

​ 3) keepalived容器集群

​ 4) minio容器集群

创建部署所需磁盘路径

​ 1) 在四个节点分别创建minio存储的磁盘路径文件夹/minio

​ 2) 在四个节点分别创建keepalived配置文件/etc/keepalived/config.yml

​ 3) 在主节点创建docker-registry配置文件/etc/registry/config.yml

依次启动服务

​ 1) 指定存储路径，在四个节点启动minio

​ 2）指定配置文件，在四个节点启动keepalived，其中任意为主节点

​ 3）指定配置文件，在主节点节点启动docker-registry