【实践记录】 K8s部署Harbor高可用

最新推荐文章于 2024-05-24 13:51:34 发布

wingtch

最新推荐文章于 2024-05-24 13:51:34 发布

阅读量3.8k

点赞数

分类专栏： DevOps 文章标签： Harbor Kubernetes

本文链接：https://blog.csdn.net/wingtch/article/details/82147089

版权

DevOps 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Vmware的Harbor镜像库集成了Docker的Registry功能外，提供了丰富的界面和同步镜像库的功能，为项目中存储和管理镜像提供了良好的基础环境。

安装共享存储

Registry的镜像数据使用文件系统存储，即使服务器磁盘已做RAID，也需在架构上保证在物理机和虚拟机出问题时能快速恢复。因此利用K8s挂载存储是较好的方法。这里我们选择Glusterfs做共享存储。

每台机器上安装并启动Glusterfs（Ubuntu系统）：

apt-get install glusterfs-server
service glusterfs-server start
组件集群（在其中一台机——通常是主服务器——上执行）

gluster peer probe <other-ip-or-hostname>
gluster peer status
这里使用replica复制存储，在提供存储的机器上建立目录和挂载磁盘

mkdir -p /sharedata/glusterdata/harbordata
gluster volume create harbordata replica 2 \
    172.18.63.22:/sharedata/glusterdata/harbordata/ \
    172.18.63.24:/sharedata/glusterdata/harbordata/ force
gluster volume info

在管理节点把共享存储mount到一个目录上。以后对文件的管理通过该mount目录进行管理而不能直接操作实际存储服务器上的文件。

mkdir -p /mnt/harbordata
mount -t glusterfs 172.18.63.22:harbordata /mnt/harbordata
gluster volume start harbordata
gluster volume status

安装K8s

这里使用Rancher2.0的RKE安装一个K8s集群并配置好kubectl。

编写Yaml和部署实例

获取Harbor 1.5（实际安装的是1.2）的源码
git clone https://github.com/goharbor/harbor.git
修改make/harbor.cfg配置
进入/harbor-release-1.5.0/make/kubernetes 目录
新建文件夹glusterfs mkdir glusterfs
编辑 harbor-gluster.yaml 为K8s添加gluster的endpoint和service

apiVersion: v1
kind: Endpoints
metadata:
  name: ep-glusterfs-harbor-r2
  namespace: ci-cd
subsets:
- addresses:
  - ip: 172.18.63.24
  ports:
  - port: 49152
    protocol: TCP

---
apiVersion: v1
kind: Service
metadata:
  name: ep-glusterfs-harbor-r2
  namespace: ci-cd
spec:
  ports:
  - port: 49152
    protocol: TCP
    targetPort: 49152
  sessionAffinity: None
  type: ClusterIP

编辑pv 目录下的 registy.pv.yaml、storage.pv.yaml 把存储改为glusterfs.

spec:
  capacity:
    storage: 10Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  glusterfs:
    endpoints: "ep-glusterfs-harbor-r2"
    path: "harbordata"
    readOnly: false

配置mysql也使用共享存储（mysql/mysql.deploy.yaml）

        volumeMounts:
        - name: mysql-storage
          mountPath: /var/lib/mysql
          subPath: "storage"
      volumes:
      - name: mysql-storage
        persistentVolumeClaim:
          claimName: storage-pvc

配置Registry使用共享存储（registry/registry.deploy.yaml）

        volumeMounts:
        - name: storage
          mountPath: /etc/registry
          subPath: "config"
        - name: storage
          mountPath: /storage
          subPath: "registry"
      volumes:
      - name: storage
        persistentVolumeClaim:
          claimName: registry-pvc

除jobservice和mysql外，其他按需要调整实例个数
生成configmap文件

python make/kubernetes/k8s-prepare

配置ingress：官方提供的配置相当简单，实际使用时有很多问题。主要是上传缓存大小没配，一般镜像单层可达到几百m，上传会失败。如果ui、registry起多个实例，其默认没有共享session，必须设置sticky。我们给ingress添加annotation。

metadata:
  annotations:
    nginx.ingress.kubernetes.io/proxy-body-size: 1024m
    nginx.ingress.kubernetes.io/upstream-hash-by: "$remote_addr"
    ingress.kubernetes.io/ssl-redirect: "false"
  name: harbor
  namespace: ci-cd

如果要让命令行docker命令能访问，还需要暴露registry的5000端口

spec:
  backend:
    serviceName: registry
    servicePort: 5000

按顺序启动服务

# create pv & pvc
kubectl apply -f make/kubernetes/glusterfs/harbor-gluster.yaml
kubectl apply -f make/kubernetes/pv/log.pv.yaml
kubectl apply -f make/kubernetes/pv/registry.pv.yaml
kubectl apply -f make/kubernetes/pv/storage.pv.yaml
kubectl apply -f make/kubernetes/pv/log.pvc.yaml
kubectl apply -f make/kubernetes/pv/registry.pvc.yaml
kubectl apply -f make/kubernetes/pv/storage.pvc.yaml

> # create config map
kubectl apply -f make/kubernetes/jobservice/jobservice.cm.yaml
kubectl apply -f make/kubernetes/mysql/mysql.cm.yaml
kubectl apply -f make/kubernetes/registry/registry.cm.yaml
kubectl apply -f make/kubernetes/ui/ui.cm.yaml
kubectl apply -f make/kubernetes/adminserver/adminserver.cm.yaml

# create service
kubectl apply -f make/kubernetes/jobservice/jobservice.svc.yaml
kubectl apply -f make/kubernetes/mysql/mysql.svc.yaml
kubectl apply -f make/kubernetes/registry/registry.svc.yaml
kubectl apply -f make/kubernetes/ui/ui.svc.yaml
kubectl apply -f make/kubernetes/adminserver/adminserver.svc.yaml

# create k8s deployment
kubectl apply -f make/kubernetes/registry/registry.deploy.yaml
kubectl apply -f make/kubernetes/mysql/mysql.deploy.yaml
kubectl apply -f make/kubernetes/jobservice/jobservice.deploy.yaml
kubectl apply -f make/kubernetes/ui/ui.deploy.yaml
kubectl apply -f make/kubernetes/adminserver/adminserver.deploy.yaml

# create k8s ingress
kubectl apply -f make/kubernetes/ingress.yaml

用配置好的域名访问harbor。这里没有配置ssl，所以需要为机器添加insecure-registry（在/etc/docker/daemon.json 中添加，然后重启daemon和docker）
用 docker login 、docker push *** 、docker pull *** 等命令测试是否工作正常。