Harbor多实例高可用共享存储搭建

最新推荐文章于 2024-05-16 08:18:09 发布
最新推荐文章于 2024-05-16 08:18:09 发布
阅读量1.2k 收藏 2
点赞数
文章标签： 数据库 docker redis 阿里云 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24794401/article/details/116956674
版权

多实例共享存储架构图

本文 LB 不使用 Nginx，使用阿里SLB。

本文架构需要考虑三个问题

  • 1、共享存储的选取，Harbor的后端存储目前支持AWS S3、Openstack Swift, Ceph等。本文使用阿里云极速性NAS，磁盘IO性能比单块磁盘读写性能要好。使用 NFS V3 版本挂载。

  • 2、Session 不能在不同的实例上共享，所以Harbor Redis 需要单独部署，并且多个实例连接相同的Redis。

  • 3、Harbor多实例数据库问题，必须单独部署一个数据库，并且多个实例连接相同的数据库。

注意：生产环境如果使用阿里云NAS，推荐使用 极速性NAS，不推荐使用 通用型NAS。

阿里云NAS性能参考文档 https://help.aliyun.com/document_detail/124577.html?spm=a2c4g.11186623.6.552.2eb05ea0HJUgUB

部署资源

主机名IP地址系统
harbor1192.168.10.10centos7.9
harbor2192.168.10.11centos7.9

部署

Harbor 选择在线部署，使用 docker-compose 部署，docker-compose 和 Docker 部署环境本文不在介绍，网上可以搜索到相关文档。

1、挂载阿里云极速性NAS

harbor1 和 harbor2 机器都需要执行挂载 NAS

配置开机自动挂载，打开 /etc/fstab 配置文件，添加挂载命令。

# 创建 NAS 挂载目录
$ mkdir /data

# 提高同时发起的NFS请求数量
$ sudo echo "options sunrpc tcp_slot_table_entries=128" >>  /etc/modprobe.d/sunrpc.conf
$ sudo echo "options sunrpc tcp_max_slot_table_entries=128" >>  /etc/modprobe.d/sunrpc.conf

  • 挂载NFS v4文件系统，添加以下命令：

file-system-id.region.nas.aliyuncs.com:/ /data nfs vers=4,minorversion=0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport 0 0

  • 如果您要挂载NFS v3文件系统，添加以下命令：

file-system-id.region.nas.aliyuncs.com:/ /data nfs vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport 0 0

# 在 /etc/fstab 配置文件添加好挂载，并执行挂载
$ mount -a

# 检查挂载，如果结果中存在NFS文件系统的挂载地址，则说明挂载成功
$ df -h | grep aliyun

2、临时部署单机 Harbor

在 harbor1 机器上操作

# 在线部署Harbor
$ cd /opt/
$ wget https://github.com/goharbor/harbor/releases/download/v2.2.1/harbor-online-installer-v2.2.1.tgz
$ tar xf harbor-online-installer-v2.2.1.tgz
$ cd /opt/harbor
$ cp harbor.yml.tmpl harbor.yml

# 创建harbor数据存储
$ mkdir /data/harbor

# 添加域名证书，已有域名SSL证书
$ mkdir /data/harbor/cert

# 把SSL证书公钥和私钥上传到 /data/harbor/cert 目录中
$ scp harbor.example.pem root@192.168.10.10:/data/harbor/cert/
$ scp harbor.example.key root@192.168.10.10:/data/harbor/cert/

# 配置 harbor.yml 文件，下面是修改后文件与原文件比较结果
$ diff harbor.yml harbor.yml.tmpl

5c5
< hostname: harbor.example.com
---
> hostname: reg.mydomain.com
17,18c17,18
<   certificate: /data/harbor/cert/harbor.example.pem
<   private_key: /data/harbor/cert/harbor.example.key
---
>   certificate: /your/certificate/path
>   private_key: /your/private/key/path
29c29
< external_url: https://harbor.example.com
---
> # external_url: https://reg.mydomain.com:8433

< data_volume: /data/harbor
---
> data_volume: /data

# 生成配置文件
$ cd /opt/harbor

# harbor开启helm charts 和 镜像漏洞扫描
$ ./prepare --with-notary --with-trivy --with-chartmuseum

# 安装
$ ./install.sh --with-notary --with-trivy --with-chartmuseum

# 查看
$ docker-compose ps

3、单独部署Harbor数据库和Redis

# 创建 postgres 和 redis 存储目录
$ mkdir -p /data/harbor-redis /data/harbor-postgresql

# 修改所属组
$ chown -R 999.999 /data/harbor-redis /data/harbor-postgresql

# 创建 postgres 和 redis docker-compose.yml 文件
$ vim docker-compose.yml

version: '2.3'

services:
  redis:
    image: goharbor/redis-photon:v2.2.1
    container_name: harbor-redis
    restart: always
    cap_drop:
      - ALL
    cap_add:
      - CHOWN
      - SETGID
      - SETUID
    volumes:
      - /data/harbor-redis:/var/lib/redis
    networks:
      - harbor-db
    ports:
      - 6379:6379
  postgresql:
    image: goharbor/harbor-db:v2.2.1
    container_name: harbor-postgresql
    restart: always
    cap_drop:
      - ALL
    cap_add:
      - CHOWN
      - DAC_OVERRIDE
      - SETGID
      - SETUID
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: test2021
    volumes:
      - /data/harbor-postgresql:/var/lib/postgresql/data:z
    networks:
      - harbor-db
    ports:
      - 5432:5432

networks:
 harbor-db:
   driver: bridge

# 部署 postgres 和 redis
$ docker-compose up -d

4、导入 postgres 数据

# 进入临时harbor-db容器导出相关表及数据
$ docker exec -it -u postgres harbor-db bash

# 导出数据
$ pg_dump -U postgres registry > /tmp/registry.sql
$ pg_dump -U postgres notarysigner > /tmp/notarysigner.sql
$ pg_dump -U postgres notaryserver > /tmp/notaryserver.sql

# 将数据导入单独部署的PostgreSQL数据库
$ psql -h 192.168.10.10 -U postgres registry -W < /tmp/registry.sql
$ psql -h 192.168.10.10 -U postgres notarysigner -W < /tmp/notarysigner.sql
$ psql -h 192.168.10.10 -U postgres notaryserver -W < /tmp/notaryserver.sql

5、清理临时部署单机Harbor数据和相关配置文件

# 清理harbr数据和配置文件
$ cp -a /data/harbor/cert /tmp/
$ rm -rf /data/harbor/*
$ rm -rf /opt/harbor
$ cp -a /tmp/cert /data/harbor/

# 重新创建配置文件
$ cd /opt/
$ tar xf harbor-online-installer-v2.2.1.tgz
$ cd /opt/harbor

# 修改配置文件，连接单独部署postgres和redis，注释harbor自带的postgres和redis
$ cp harbor.yml.tmpl harbor.yml
$ diff harbor.yml harbor.yml.tmpl

5c5
< hostname: harbor.example.com
---
> hostname: reg.mydomain.com
17,18c17,18
<   certificate: /data/harbor/cert/harbor.example.pem
<   private_key: /data/harbor/cert/harbor.example.key
---
>   certificate: /your/certificate/path
>   private_key: /your/private/key/path
29c29
< external_url: https://harbor.example.com
---
> # external_url: https://reg.mydomain.com:8433

37c37
< # database:
---
> database:
39c39
<   # password: root123
---
>   password: root123
41c41
<   # max_idle_conns: 50
---
>   max_idle_conns: 50
44c44
<   # max_open_conns: 1000
---
>   max_open_conns: 1000
47c47

< data_volume: /data/harbor
---
> data_volume: /data

135,158c135,158
< external_database:
<   harbor:
<     host: 192.168.10.10
<     port: 5432
<     db_name: registry
<     username: postgres
<     password: test2021
<     ssl_mode: disable
<     max_idle_conns: 50
<     max_open_conns: 1000
<   notary_signer:
<     host: 192.168.10.10
<     port: 5432
<     db_name: notarysigner
<     username: postgres
<     password: test2021
<     ssl_mode: disable
<   notary_server:
<     host: 192.168.10.10
<     port: 5432
<     db_name: notaryserver
<     username: postgres
<     password: test2021
<     ssl_mode: disable
---
> # external_database:
> #   harbor:
> #     host: harbor_db_host
> #     port: harbor_db_port
> #     db_name: harbor_db_name
> #     username: harbor_db_username
> #     password: harbor_db_password
> #     ssl_mode: disable
> #     max_idle_conns: 2
> #     max_open_conns: 0
> #   notary_signer:
> #     host: notary_signer_db_host
> #     port: notary_signer_db_port
> #     db_name: notary_signer_db_name
> #     username: notary_signer_db_username
> #     password: notary_signer_db_password
> #     ssl_mode: disable
> #   notary_server:
> #     host: notary_server_db_host
> #     port: notary_server_db_port
> #     db_name: notary_server_db_name
> #     username: notary_server_db_username
> #     password: notary_server_db_password
> #     ssl_mode: disable
161,175c161,175
< external_redis:
<   # support redis, redis+sentinel
<   # host for redis: <host_redis>:<port_redis>
<   # host for redis+sentinel:
<   #  <host_sentinel1>:<port_sentinel1>,<host_sentinel2>:<port_sentinel2>,<host_sentinel3>:<port_sentinel3>
<   host: 192.168.10.10:6379
<   password:
<   # sentinel_master_set must be set to support redis+sentinel
<   #sentinel_master_set:
<   # db_index 0 is for core, it's unchangeable
<   registry_db_index: 1
<   jobservice_db_index: 2
<   chartmuseum_db_index: 3
<   trivy_db_index: 5
<   idle_timeout_seconds: 30
---
> # external_redis:
> #   # support redis, redis+sentinel
> #   # host for redis: <host_redis>:<port_redis>
> #   # host for redis+sentinel:
> #   #  <host_sentinel1>:<port_sentinel1>,<host_sentinel2>:<port_sentinel2>,<host_sentinel3>:<port_sentinel3>
> #   host: redis:6379
> #   password:
> #   # sentinel_master_set must be set to support redis+sentinel
> #   #sentinel_master_set:
> #   # db_index 0 is for core, it's unchangeable
> #   registry_db_index: 1
> #   jobservice_db_index: 2
> #   chartmuseum_db_index: 3
> #   trivy_db_index: 5
> #   idle_timeout_seconds: 30

# 部署第一个节点 harbor
$ cd /opt/harbor

# harbor开启helm charts 和 镜像漏洞扫描
$ ./prepare --with-notary --with-trivy --with-chartmuseum

# 安装
$ ./install.sh --with-notary --with-trivy --with-chartmuseum

# 查看
$ docker-compose ps

# 拷贝配置到 harbor2 机器上
$ scp -r /opt/harbor 192.168.10.11:/opt/

在 harbor2 机器上操作

# 部署第二个节点 harbor
$ cd /opt/harbor

# harbor开启helm charts 和 镜像漏洞扫描
$ ./prepare --with-notary --with-trivy --with-chartmuseum

# 安装
$ ./install.sh --with-notary --with-trivy --with-chartmuseum

# 查看
$ docker-compose ps

6、配置阿里云SLB

不具体介绍SLB配置方法，具体配置方法参考下面阿里云SLB配置文档，配置 443端口，使用 TCP 协议，后端映射到两台 harbor1 和 harbor2 443端口上。

SLB配置方法请参考阿里云文档 https://help.aliyun.com/document_detail/205495.html?spm=a2c4g.11174283.6.666.f9aa1192jngFKC

热门文章推荐

最后

  • 后台回复 【列表】，可获取本公众号所有文章列表

  • 欢迎您加我微信【ypxiaozhan01】，拉您进技术群，一起交流学习

  • 欢迎您关注【YP小站】，学习互联网最流行的技术，做个专业的技术人

  【文章让您有收获，???? 赞 或者 在看 支持我吧】
YP小站
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
harbor高可靠搭建
10-16
harbor单机单机，互备搭建，高可靠搭建，ceph存储数据
搭建部署Harbor企业级私有仓库
01-07
环境准备 ...tar zxf harbor-offline-installer-v1.8.1.tgz cd harbor/ mv harbor /usr/local/ cd /usr/local/ vim harbor.yml ./install.sh 时间会有点长，耐心等待即可 docker-compose ps
harbor高可用部署
IT
08-14 4723
harbor高可用简介 harbor目前有两种主流的高可用方案： 双主复制，harbor自带的镜像复制功能 多harbor实例共享后端存储 下面以阿里云环境为例，使用两台ECS实例+NFS共享存储方式部署高可用harbor，整体架构图如下： harbor高可用部署 在阿里云申请以下资源： 资源类型 数量 地域 ECS实例 2 华南1(深圳)-可用区D NAS实例 1 华南1(深圳)-可用区D RDS实例 1 华南1(深圳)-可用区D Redis实例 1 华南1(深圳)-可
harbor（docker仓库）仓库部署 - 高可用
u010230019的博客
02-23 1983
假设如果一个实例A挂掉了，这个时候有新的镜像进来，那么新的镜像就会在另外一个实例B中，后面即使恢复了挂掉的A实例，Harbor实例B也不会自动去同步镜像，这样只能手动的先关掉Harbor实例B的复制策略，然后再开启复制策略，才能让实例B数据同步，让两个实例的数据一致。由于我们安装的harbor通过http跳转到https访问，所以前面设置的nginx的负载均衡的配置需要进行修改，否则无法访问。部署nginx，redis，mysql，nfs等服务，生产环境中应该分开，并且配置成为高可用。
CentOS7 Harbor 高可用部署及配置（主从）(1)
最新发布
2401_84023446的博客
05-16 800
总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取两台主机操作步骤一致：1.安装 Docker 并启动2.安装 Docker-Compseuname−s−uname−s−3.下载 Harbor 需要的包。
Harbor 仓库使用介绍（高可用配置）
愿许浪尽天涯的博客
03-22 6812
Harbor 是由 VMware 公司使用 Go 语言开发，主要就是用于存放镜像使用，同时我们还可以通过 Web 界面来对存放的镜像进行管理。并且 Harbor 提供的功能有：基于角色的访问控制，镜像远程复制同步，以及审计日志等功能。
高可用系统——Harbor高可用
幽灵 逐梦--专栏
07-09 936
什么是harbor？ harbor是一个开源注册库，可靠地使用策略和基于角色的访问控制，确保扫描图像并没有漏洞，并将图像标记为可信。 CNCF毕业项目，提供合规性，性能和互操作性，以帮助您跨越云原始计算平台始终如一地和安全地管理镜像，如Kubernetes和Docker。 ...
【K8S 六】Harbor镜像仓库高可用方案（更新：2022-06-21）
刘元林的博客
06-14 3079
主备方案一：Push镜像到主节点，每次通过vip登录即可（无需判断节点角色），备节点设置“Pull-based”复制模式和“定时”触发模式高频拉取镜像：每小时甚至每分钟拉取一次；（资源浪费） 主备方案二：Push镜像到备节点，每次登录需要先判断哪个是备节点（因为vip会浮动），备节点设置“Push-based”复制模式和“事件驱动”触发模式推送镜像；（较完美：Push镜像到备节点，需要在操作台设置备节点IP到reg.harbor.4a的映射） ............
详解基于Harbor搭建Docker私有镜像仓库
09-30
主要介绍了详解基于Harbor搭建Docker私有镜像仓库，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
docker私有仓库harbor搭建过程
09-29
主要介绍了docker私有仓库harbor搭建过程，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
harbor的搭建
03-27
harbor的搭建
Harbor高可用（haproxy和keepalived）
Raymond的博客
03-01 933
本示例中的Harbor高可用集群部署将基于以下环境进行。图1-1 Harbor高可用架构表1-1 高可用Kubernetes集群规划。
Harbor仓库详解及搭建高可用
Lei98_的博客
06-13 2338
Harbor是一个开源注册中心，它通过策略和基于角色的访问控制来保护工件，确保图像经过扫描且没有漏洞，并将图像签名为受信任。Harbor是CNCF Graduated项目，可提供合规性、性能和互操作性，帮助您跨Kubernetes和Docker等云原生计算平台一致、安全地管理构件。1.基于角色的访问控制： 我们可以通过项目来对用户进行权限划分，项目中可以包含多个镜像。2.审计管理： 我们可以在用户审计管理中，找到我们所有对镜像仓库做的操作。3.镜像复制。
Harbor高可用部署使用
梵修
08-02 1198
Harbor的高可用方案大致可以分为下面两种，一种依赖共享存储来保存镜像数据，另一种基于不同Harbor服务器间的镜像复制实现。
Harbor高可用（nginx和keepalived）
Raymond的博客
03-22 810
本示例中的Harbor高可用集群部署将基于以下环境进行。图1-1 Harbor高可用架构表1-1 高可用Kubernetes集群规划。
Redis哨兵高可用性(包含创建sentinel节点以及配置文件)
佳佳不掉头发
04-29 1014
Redis哨兵 (Redis Sentinel) 声明:本次笔记全本人手写,进行对烧饼有了理解,如果想看redis数据节点的配置文件和sentinel节点的配置文件请直接跳到9.2.2和9.2.3 22/4/29/lsj 本次笔记主要了解Redis Sentinel,实现Redis主从复制高可用,以及实现原理 Redis Sentinel 的概念 Redis Sentinel 的安装部署 Redis Sentinel 的API详解 9.1基本概念 9.1.1 主从复制的问题 Redis 的主从复制可以将
Sentinel高可用集群搭建
大道至简，持之以恒！
03-28 7080
目录 一、前言 二、集群搭建 1、环境 2、配置文件介绍 3、实验中的sentinel配置 4、启动sentinel： 5、sentinel原理 6、运行测试 三、sentinel核心概念 1、Leader选举 3、命令查看、修改 4、修改：包括参数 四、增加或删除Sentinel 1、增加sentinel 2、删除旧master或者不可达slave 五、总结 六、sentinel.conf配置详解 一、前言 sentinel是一个"监视器"，根据被监视实例的身份和
linux上Harbor部署及使用
06-30 2372
Harbor是用于存储和分发Docker镜像的镜像仓库服务，Harbor在安全、标识、管理等方面比Registry都要略胜一筹 一、环境介绍： centos7（vmware创建的虚拟机） docker docker-composehttps://github.com/docker/compose/releases/download/1.29.2/docker-compose-Linux-x86_64 harbor 2.0 https://github.com/goharbor/harbor...
群晖Docker套件注册Harbor私有镜像仓库，并下载运行自己发布的Docker镜像
分享技术，传播知识!
10-02 6830
[群晖Docker套件注册Harbor私有镜像仓库，并下载运行自己发布的Docker镜像]在进行微服务开发时，一些基础服务组件（Nacos、Redis、Mysql）的运行以及越来越多的业务服务组件的开发，会导致开发者电脑的内存资源紧张，此时我们可以把一些基础服务组件和基本业务组件（认证中心、用户中心、日志中心、统一网关）等不经常变的服务直接部署到服务器上，当然为了节省电费，也可以部署到Nas中，本文就以群晖DSM7.1为例作为服务进行介绍（Nas的内存建议配置要高一些）。
harbor仓库的高可用架构如何部署
05-23
要部署Harbor仓库的高可用架构，可以考虑以下几个步骤： 1. 部署多个Harbor节点：需要在不同...总之，部署Harbor仓库的高可用架构需要考虑多个方面，包括节点部署、高可用配置、共享存储、数据库集群、备份和恢复等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值