kubernetes下搭建harbor企业级docker仓库

最新推荐文章于 2024-08-12 16:25:38 发布
最新推荐文章于 2024-08-12 16:25:38 发布
阅读量4.2k 收藏 2
点赞数 1
分类专栏： kubernetes 运维 构架 文章标签： vmware harbor kubernetes helm docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yan_chou/article/details/79715995
版权
构架 同时被 3 个专栏收录
19 篇文章 0 订阅
订阅专栏
kubernetes
8 篇文章 0 订阅
订阅专栏
运维
7 篇文章 0 订阅
订阅专栏

前言

harbor是由vmware开源的企业级docker repository，提供私有仓库，安全认证，权限管理，漏洞扫描及仓库复制等多种功能，因为之前搭建的harbor在线上环境存在各种各样的问题（之前搭建的方式目前发现已被官方宣布弃用https://github.com/vmware/harbor/blob/master/docs/kubernetes_deployment.md，如ui显示不正常，权限认证不正常），于是近期抽空用官方推荐的helm方式对harbor进行重新部署，并替换掉线上harbor

准备

  1. Kubernetes集群1.8+
  2. Kubernetes Ingress Controller已启用(这里我们选用的traefik-ingress)
  3. kubectl 客户端 1.8+
  4. 可选的持久化功能需要准备PV或者SC（我们这里使用nfs创建的PV和PVC，如果有条件使用SC的会更加方便）

部署过程

  1. 首先按照官方教程安装Helm，然后初始化Helm。
    注意： 初始化需要使用下面命令使用canary镜像，否则无法正常安装，会报错helm部署文件的格式不正确，目前这是一个已知issue:https://github.com/vmware/harbor/issues/4484

    helm init --canary-image

    如果你和我一样，在这之前已经用官方教程安装好了helm，则可使用下面命令更新helm server:

    helm init --canary-image --upgrade
  2. 下载helm部署代码并进入harbor helm目录。

    git clone https://github.com/vmware/harbor
    cd harbor/contrib/helm/harbor

    推荐使用这个连接下载指定的文件夹，否则在网络不佳的情况下拉取全部代码会比较耗时:

    https://minhaskamal.github.io/DownGit/#/home
  3. 更新helm dependency
    harbor的helm部署依赖了postgresql的helm，在官方的安装文档没有明确说明，因为我也是第一次使用，直接按照官方文档说明安装，就会缺失postgresql的部署，导致整个服务无法启动

    helm dependency update
  4. 安装harbor
    这里官方提供了两种方式，Insecure和Secure，我这里选用的是Secure安全的部署方式，让harbor自己生成CA和SSL，简单方便。执行如下命令安装harbor:

    helm install . --debug --name hub --set externalDomain=harbor.my.domain

    externalDomain为外部能访问到harbor的域名，到目前为止，你可以在本地/etc/hosts中添加域名解析，从本地访问进行测试，待测试完成后再加入traefik-ingress中，当然你也可以直接在traefik-ingress中添加域名解析。
  5. 添加traefik-ingress的域名解析：

    apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
    name: traefik-default-ingress
    namespace: default
    annotations:
    kubernetes.io/ingress.class: "traefik"
    spec:
    rules:
    <ul><li>host: harbor.my.domain
    http:
    paths:
    <ul><li>path: /
    backend:
    serviceName: my-release-harbor-ui
    servicePort: 80

helm harbor自定义配置

注意： 我这里把所有自定义配置放到后面的附录中，供大家参考,同时可以点击https://github.com/Anteoy/harbor-helm/commit/226b296d130b4f956f8463eecf2aa473bc1e844c,查看我上传到github的自定义配置，从github阅读更清晰。

  1. 重要：在生产环境中需要持久化数据存储，否则pod重启或重建会造成数据丢失。如果有创建好的storageClass可以直接在values.yaml配置，如果没有或暂时不能使用SC的，比如我这里只有nfs，则需要像我一样多修改一些配置。另外,nfs其实在社区也有storageClass的驱动库，不过我看了下使用起来较为繁琐，于是这里仍然修改为使用nfs。
  2. 修改templates默认的namespace，注意需要修改依赖的chart文件夹下的postgresql-0.9-1.tgz压缩文件中的部署yaml模板，否则harbor的ui,register,mysql和postgresql不在一个namespace下，不能正常安装
  3. 注意修改postgresql的持久化数据卷，可参考https://github.com/kubernetes/charts/tree/master/stable/postgresql

附录

 templates/adminserver/adminserver-cm.yaml
@@ -1,6 +1,7 @@
 apiVersion: v1
 kind: ConfigMap
 metadata:
+  namespace: class100-ops
   name: "{{ template "harbor.fullname" . }}-adminserver"
   labels:
 {{ include "harbor.labels" . | indent 4 }}

1  templates/adminserver/adminserver-secrets.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Secret
 metadata:
   name: "{{ template "harbor.fullname" . }}-adminserver"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: adminserver

5  templates/adminserver/adminserver-ss.yaml
@@ -2,6 +2,7 @@ apiVersion: apps/v1beta2
 kind: StatefulSet
 metadata:
   name: "{{ template "harbor.fullname" . }}-adminserver"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: adminserver
@@ -42,13 +43,15 @@ spec:
         volumeMounts:
         - name: adminserver-config
           mountPath: /etc/adminserver/config
+          subPath: harbor-v1/adminserver/
         - name: adminserver-key
           mountPath: /etc/adminserver/key
           subPath: key
       volumes:
       {{- if not .Values.persistence.enabled }}
       - name: adminserver-config
-        emptyDir: {}
+        persistentVolumeClaim:
+          claimName: harbor-pvc
       {{- end }}
       - name: adminserver-key
         secret:

1  templates/adminserver/adminserver-svc.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Service
 metadata:
   name: "{{ template "harbor.fullname" . }}-adminserver"
+  namespace: class100-ops
 spec:
   ports:
     - port: 80

1  templates/clair/clair-cm.yaml
@@ -3,6 +3,7 @@ apiVersion: v1
 kind: ConfigMap
 metadata:
   name: {{ template "harbor.fullname" . }}-clair
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: clair

1  templates/clair/clair-dpl.yaml
@@ -3,6 +3,7 @@ apiVersion: extensions/v1beta1
 kind: Deployment
 metadata:
   name: {{ template "harbor.fullname" . }}-clair
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: clair

1  templates/clair/clair-svc.yaml
@@ -6,6 +6,7 @@ apiVersion: v1
 kind: Service
 metadata:
   name: clair
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 spec:

1  templates/ingress/ingress.yaml
@@ -2,6 +2,7 @@ apiVersion: extensions/v1beta1
 kind: Ingress
 metadata:
   name: "{{ template "harbor.fullname" . }}-ingress"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
   annotations:

1  templates/ingress/secret.yaml
@@ -5,6 +5,7 @@ apiVersion: v1
 kind: Secret
 metadata:
   name: "{{ template "harbor.fullname" . }}-ingress"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 type: kubernetes.io/tls

1  templates/jobservice/jobservice-cm.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: ConfigMap
 metadata:
   name: "{{ template "harbor.fullname" . }}-jobservice"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 data:

1  templates/jobservice/jobservice-dpl.yaml
@@ -2,6 +2,7 @@ apiVersion: extensions/v1beta1
 kind: Deployment
 metadata:
   name: "{{ template "harbor.fullname" . }}-jobservice"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: jobservice

1  templates/jobservice/jobservice-secrets.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Secret
 metadata:
   name: "{{ template "harbor.fullname" . }}-jobservice"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 type: Opaque

1  templates/jobservice/jobservice-svc.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Service
 metadata:
   name: "{{ template "harbor.fullname" . }}-jobservice"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 spec:

1  templates/mysql/mysql-secret.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Secret
 metadata:
   name: "{{ template "harbor.fullname" . }}-mysql"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 type: Opaque

7  templates/mysql/mysql-ss.yaml
@@ -2,6 +2,7 @@ apiVersion: apps/v1beta2
 kind: StatefulSet
 metadata:
   name: "{{ template "harbor.fullname" . }}-mysql"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: mysql
@@ -33,10 +34,12 @@ spec:
         volumeMounts:
         - name: mysql-data
           mountPath: /var/lib/mysql
+          subPath: harbor-v1/mysql-data/
       {{- if not .Values.persistence.enabled }}
       volumes:
-      - name: "mysql-data"
-        emptyDir: {}
+      - name: mysql-data
+        persistentVolumeClaim:
+          claimName: harbor-pvc
       {{- end -}}
   {{- if .Values.persistence.enabled }}
   volumeClaimTemplates:

1  templates/mysql/mysql-svc.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Service
 metadata:
   name: "{{ template "harbor.fullname" . }}-mysql"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 spec:

1  templates/registry/registry-cm.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: ConfigMap
 metadata:
   name: "{{ template "harbor.fullname" . }}-registry"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 data:

1  templates/registry/registry-secret.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Secret
 metadata:
   name: "{{ template "harbor.fullname" . }}-registry"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 type: Opaque

5  templates/registry/registry-ss.yaml
@@ -2,6 +2,7 @@ apiVersion: apps/v1beta2
 kind: StatefulSet
 metadata:
   name: "{{ template "harbor.fullname" . }}-registry"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: registry
@@ -37,6 +38,7 @@ spec:
         volumeMounts:
         - name: registry-data
           mountPath: /var/lib/registry
+          subPath: harbor-v1/registry-data/
         - name: registry-root-certificate
           mountPath: /etc/registry/root.crt
           subPath: root.crt
@@ -47,7 +49,8 @@ spec:
 {{- if not .Values.registry.objectStorage }}
 {{- if not .Values.persistence.enabled }}
       - name: registry-data
-        emptyDir: {}
+        persistentVolumeClaim:
+          claimName: harbor-pvc
 {{- end }}
 {{- end }}
       - name: registry-root-certificate

1  templates/registry/registry-svc.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Service
 metadata:
   name: "{{ template "harbor.fullname" . }}-registry"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 spec:

1  templates/ui/ui-cm.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: ConfigMap
 metadata:
   name: "{{ template "harbor.fullname" . }}-ui"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 data:

3  templates/ui/ui-dpl.yaml
@@ -2,6 +2,7 @@ apiVersion: extensions/v1beta1
 kind: Deployment
 metadata:
   name: "{{ template "harbor.fullname" . }}-ui"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
     component: ui
@@ -54,8 +55,10 @@ spec:
           subPath: private_key.pem
         - name: ca-download
           mountPath: /etc/ui/ca
+          subPath: harbor-v1/ui-ca/
         - name: psc
           mountPath: /etc/ui/token
+          subPath: harbor-v1/ui-psc/
       volumes:
       - name: ui-config
         configMap:

1  templates/ui/ui-secrets.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Secret
 metadata:
   name: "{{ template "harbor.fullname" . }}-ui"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 type: Opaque

1  templates/ui/ui-svc.yaml
@@ -2,6 +2,7 @@ apiVersion: v1
 kind: Service
 metadata:
   name: "{{ template "harbor.fullname" . }}-ui"
+  namespace: class100-ops
   labels:
 {{ include "harbor.labels" . | indent 4 }}
 spec:

3  values.yaml
@@ -287,4 +287,5 @@ postgresql:
   postgresPassword: not-a-secure-password
   postgresDatabase: clair
   persistence:
-    enabled: false
+    enabled: true
+    existingClaim: harbor-pvc

参考

  1. https://github.com/vmware/harbor/issues/4484
  2. https://github.com/vmware/harbor/tree/master/contrib/helm/harbor
  3. https://github.com/vmware/harbor/issues/4481
  4. https://kubernetes.io/docs/concepts/storage/storage-classes/#introduction
anteoy
关注
专栏目录
搭建Harbor企业级docker仓库-2.7.1
02-22
Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的...
redis-ha helm
青春不流名
06-10 857
NOTES:
helm install报错Error: INSTALLATION FAILED: unable to build kubernetes objects from release manifest:
qq_41954181的博客
07-31 3987
Error: INSTALLATION FAILED: unable to build kubernetes objects from release manifest: [resource mapping not found for name: "weave-scope-agent-ui" namespace: "" from "": no matches for kind "ClusterRole" in version "rbac.authorization.k8s.io/v1beta1" ensur
Harbor私有仓库
最新发布
henanxiaoman的博客
08-12 1177
Harbor 是一个开源的企业级 Docker 镜像仓库，提供了对 Docker 镜像的管理和分发功能。它作为私有仓库，允许组织在内部安全地存储和管理 Docker 镜像。Harbor 提供了图形用户界面、访问控制、审计日志、镜像扫描、复制和备份等功能，增强了镜像管理的安全性和可用性。
k8s部署中遇到问题
javascript_good的博客
05-09 298
把/opt/kubernetes/server/bin/certs/目录下的 kubelet-client-2023-01-30-09-08-38.pem、kubelet-client-current.pem、kubelet.crt、kubelet.key这些文件删除。解决方法： 检查harbor.yml 文件格式是否对的，我检查是因为文件中多了一行乱码，去掉后，重新执行./install.sh 成功。解决方法: 生成证书，把https的设置开启，我用的2.6.0版本，这个版本必须开启https设置。
阿里云ECS服务器安装Harbor及遇到的一些问题
qq_37587824的博客
04-21 1053
阿里云ECS服务器安装Harbor及遇到的一些问题 一、安装 （1）docker安装 我的服务器是在阿里云上的ubuntu16系统，直接运行apt-get install docker.io来安装docker，运行结束后执行docker -v查看版本信息，看是否安装成功。 （2）docker-compose安装 sudo curl -L "https://github.com/docker/com...
Harbor仓库的部署，操作使用-报错解决方法
mingqing的博客
08-19 2617
Harbor仓库的部署，操作使用-报错解决方法
K8S安装与centos7搭建Harbor企业级docker仓库教程.zip
01-11
k8s：K8S安装与centos7搭建Harbor企业级docker仓库教程.zip
搭建部署Harbor企业级私有仓库
01-07
环境准备 服务器系统 Centos7.7 ...chmod +x docker-compose ...docker-compose -v ...tar zxf harbor-offline-installer-v1.8.1.tgz cd harbor/ ...mv harbor /usr/local/ ...vim harbor.yml ...docker-compose ps
harbor使用过程遇到的一些问题集合
热门推荐
arnolan的博客
07-17 1万+
harbor使用过程遇到的一些问题集合 1. harbor降级core无法启动：failed to initialize database: file does not exist 【版本环境】harbor1.8.6 【安装方式】helm 【操作描述】从harbor1.9.4 降级到harbor1.8.6，无法启动core 【报错信息】 2019-09-16T14:02:03Z [ERROR] [/common/config/manager.go:192]: failed to get key admir
【ERROR】搭建harbor时，redis和register启动失败
落拓子ю的博客
03-27 1010
2）register启动失败：unable to configure authorization (htpasswd): open /etc/registry/passwd: permission denied。1）redis启动失败：open() “/etc/nginx/nginx.conf” failed (13: Permission denied)搭建harbor时，运行docker-compose.yml，内置的redis和register启动失败。registry容器因为权限问题导致异常重启。
helm搭建harbor报错
weixin_40548182的博客
05-15 166
说明：github上有对这个的说明，但不是我遇到的这种问题。访问输入密码的时候报错。
harbor安装问题指南
qq_27246521的博客
02-27 612
出现这些报错时是因为docker没能启动 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? 给docker创建etc目录 配置文件创建 # 开机自启 systemctl enable docker systemctl start docker # docker 配置阿里云镜像加速 sudo mkdir -p /etc/docker sudo tee /
Harbor部署过程中出现的问题
peng_huaiyang的博客
04-04 2063
1、在搭建Harbor仓库时，需要先安装docker-compose 2、docker-compose有很多版本，我这里选择的是比较老的 3、执行命令(下载docker-compose)： curl -L https://github.com/docker/compose/releases/download/1.13.0/docker-compose-`uname -s`-`uname...
docker的Harbor报错处理
云原生运维
08-27 226
查看是否配置cat /etc/docker/daemon.json。
harbor安装记录
yjk13703623757的博客
03-04 4030
1. Harbor架构 Adminserver：用来管理系统配置，并提供了相应的 WEB 页面和 API 来供用户操作，改进了之前需用户手动修改配置文件并手动重启系统的用户体验。 Proxy：由Nginx 服务器构成的反向代理。 Registry：由Docker官方的开源registry镜像构成的容器实例。 UI：即架构中的core services， 构成此容器的代码是Harbo...
部署Harbor进行镜像仓库管理、harbor核心服务不可用问题解决（七.3和八.2）
树下一少年的博客
08-25 2289
在刚才第一步最后这样改过密码后重新安装会出现harbor的核心服务不可用的情况，也就是他的harbor-core直接是一直restart的状态，此时我们需要进入容器将密码修改一致。本部分为2024年6月补充，都是在我的harbor安装目录/usr/local/harbor下进行的，代码段或者主机名有所不同，原理一样，仅做参考。我是重新运行此命令解决，在第八部分也涉及到了这个问题，我目前遇到的就是一个修改密码后，harbor服务与数据库中的密码不一致导致，敬请查看后文。此处修改主机登录密码和数据库登录密码。
Registry&Harbor私有仓库构建
qq_58360406的博客
03-24 867
Registry&Harbor私有仓库构建
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值