harbor安装并配置https

harbor简介

Harbor 是一个VMware公司开源的镜像仓库，它使用策略和基于角色的访问控制来保护工件，确保镜像被扫描并且没有漏洞，并将镜像标记为可信。Harbor 是一个 CNCF 毕业项目，它提供合规性、性能和互操作性，以帮助您跨云原生计算平台（如 Kubernetes 和 Docker）一致且安全地管理工件。

Habor在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包括：管理用户界面，基于角色的访问控制 ，AD/LDAP集成以及审计日志等。

harbor英文单词的意思是：港湾。港湾用来存放集装箱(货物的)，而docker的由来正是借鉴了集装箱的原理，所以harbor是用于存放docker的镜像，作为镜像仓库使用。作为一个企业级私有 Registry 服务器，Harbor 提供了更好的性能和安全。提升用户使用 Registry 构建和运行环境传输镜像的效率。

官方安装文档：

• https://goharbor.io/docs/

离线包下载地址：

• 官方地址：https://github.com/goharbor/harbor/releases
• 国内harbor源：https://mirrors.tuna.tsinghua.edu.cn/github-release/goharbor/harbor/

前置要求：

• 已安装docker
• 已安装docker compose

harbor安装

部署harbor前确认主机已经安装docker及docker-compose。harbor分为在线安装和离线安装，这里使用离线安装方式。

由于访问github较慢，建议提前下载好上传到节点：

cd /root/
version=v2.0.1
mkdir -p /data/packages && cd /data/packages
wget https://github.com/goharbor/harbor/releases/download/${version}/harbor-offline-installer-${version}.tgz
tar -zxf harbor-offline-installer-${version}.tgz

http方式部署

修改harbor配置文件，如果使用非https方式部署，直接修改hostname字段，并注释https部分然后执行部署即可

[root@harbor harbor]# cp harbor.yml.tmpl harbor.yml
[root@harbor harbor]# more harbor.yml

hostname: 192.168.93.9

#https:
#  # https port for harbor, default is 443
#  port: 443
#  # The path of cert and key files for nginx
#  certificate: /data/cert/registry.harbor.com.crt
#  private_key: /data/cert/registry.harbor.com.key
...

安装Harbor：

./install.sh

配置harbor开机随系统启动，服务器重启后默认harbor无法正常启动，可以使用systemd管理harbor启停：

cat > /usr/lib/systemd/system/harbor.service << 'EOF'
[Unit]
Description=Harbor
After=docker.service systemd-networkd.service systemd-resolved.service
Requires=docker.service
Documentation=http://github.com/vmware/harbor

[Service]
Type=simple
Restart=on-failure
RestartSec=5
Environment=harbor_install_path=/data/packages
ExecStart=/usr/local/bin/docker-compose -f ${harbor_install_path}/harbor/docker-compose.yml up
ExecStop=/usr/local/bin/docker-compose -f ${harbor_install_path}/harbor/docker-compose.yml down

[Install]
WantedBy=multi-user.target
EOF

配置开机启动

systemctl enable --now harbor

https方式部署

默认情况下，Harbor不附带证书。可以在没有安全性的情况下部署Harbor，以便您可以通过HTTP连接到它。但是，只有在没有外部网络连接的测试或开发环境中，才可以使用HTTP。在外网暴露环境中使用HTTP会使您遭受中间人攻击。在生产环境中，请始终使用HTTPS。如果启用Content Trust with Notary来正确签名所有镜像，则必须使用HTTPS。

要配置HTTPS，必须创建SSL证书。您可以使用由受信任的第三方CA签名的证书，也可以使用自签名证书。本节介绍如何使用OpenSSL创建CA，以及如何使用CA签署服务器证书和客户端证书。您可以使用其他CA提供程序，例如Let’s Encrypt。

以下过程假定您的Harbor注册表的主机名是yourdomain.com，并且其DNS记录指向您在其上运行Harbor的主机。

以上是官方说明，这里以registry.harbor.com域名为例进行演示，也可以直接使用IP地址代替域名配置https，但在生成证书时有两处配置稍有不同。

官方文档：https://goharbor.io/docs/2.0.0/install-config/configure-https/

生成证书颁发机构证书

在生产环境中，您应该从CA获得证书。在测试或开发环境中，您可以生成自己的CA。要生成CA证书，请运行以下命令。

1、生成CA证书私钥。

#创建目录保存证书（可选）
mkdir -p /root/harbor/ssl
cd /root/harbor/ssl

openssl genrsa -out ca.key 4096

2、生成CA证书。

调整-subj选项中的值以反映您的组织。如果使用FQDN连接Harbor主机，则必须将其指定为通用名称（CN）属性。

openssl req -x509 -new -nodes -sha512 -days 3650 \
 -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=registry.harbor.com" \
 -key ca.key \
 -out ca.crt

如果使用IP地址，需要在执行以上命令前执行以下操作：

cd /root
openssl rand -writerand .rnd
cd -

生成服务器证书

证书通常包含一个.crt文件和一个.key文件，例如yourdomain.com.crt和yourdomain.com.key。

1、生成私钥。

openssl genrsa -out registry.harbor.com.key 4096

2、生成证书签名请求（CSR）。

调整-subj选项中的值以反映您的组织。如果使用FQDN连接Harbor主机，则必须将其指定为通用名称（CN）属性，并在密钥和CSR文件名中使用它。

openssl req -sha512 -new \
    -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=registry.harbor.com" \
    -key registry.harbor.com.key \
    -out registry.harbor.com.csr

3、生成一个x509 v3扩展文件。

无论您使用FQDN还是IP地址连接到Harbor主机，都必须创建此文件，以便可以为您的Harbor主机生成符合主题备用名称（SAN）和x509 v3的证书扩展要求。替换DNS条目以反映您的域。

cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=registry.harbor.com
DNS.2=registry.harbor
DNS.3=harbor
EOF

如果使用ip，需要使用如下方式进行创建：

cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = IP:192.168.93.9
EOF

4、使用该v3.ext文件为您的Harbor主机生成证书。

将yourdomain.comCRS和CRT文件名中的替换为Harbor主机名。

openssl x509 -req -sha512 -days 3650 \
    -extfile v3.ext \
    -CA ca.crt -CAkey ca.key -CAcreateserial \
    -in registry.harbor.com.csr \
    -out registry.harbor.com.crt

提供证书给Harbor和Docker

生成后ca.crt，yourdomain.com.crt和yourdomain.com.key文件，必须将它们提供给harbor和docker，和重新配置harbor使用它们。

1、将服务器证书和密钥复制到Harbor主机上的certficates文件夹中。

mkdir -p /data/cert
cp registry.harbor.com.crt /data/cert/
cp registry.harbor.com.key /data/cert/

2、转换yourdomain.com.crt为yourdomain.com.cert，供Docker使用。
Docker守护程序将.crt文件解释为CA证书，并将.cert文件解释为客户端证书。

openssl x509 -inform PEM -in registry.harbor.com.crt -out registry.harbor.com.cert

3、将服务器证书，密钥和CA文件复制到Harbor主机上的Docker证书文件夹中。您必须首先创建适当的文件夹。

mkdir -p /etc/docker/certs.d/registry.harbor.com/
cp registry.harbor.com.cert /etc/docker/certs.d/registry.harbor.com/
cp registry.harbor.com.key /etc/docker/certs.d/registry.harbor.com/
cp ca.crt /etc/docker/certs.d/registry.harbor.com/

如果将默认nginx端口443映射到其他端口，请创建文件夹/etc/docker/certs.d/yourdomain.com:port或/etc/docker/certs.d/harbor_IP:port。(省略)

4、重新启动Docker Engine。

systemctl restart docker

您可能还需要在操作系统级别信任证书。有关更多信息，请参见对Harbour安装进行故障排除。

以下示例说明了使用自定义证书的配置。

/etc/docker/certs.d/
    └── yourdomain.com:port
       ├── yourdomain.com.cert  <-- Server certificate signed by CA
       ├── yourdomain.com.key   <-- Server key signed by CA
       └── ca.crt               <-- Certificate authority that signed the registry certificate

[root@harbor ~]# yum install -y tree
[root@harbor ~]# tree /etc/docker/certs.d/
/etc/docker/certs.d/
└── registry.harbor.com
    ├── ca.crt
    ├── registry.harbor.com.cert
    └── registry.harbor.com.key

部署或重新配置harbor

如果尚未部署Harbor，请参阅配置Harbor YML文件，以获取有关如何通过在中指定hostname和https属性来配置Harbor以使用证书的信息harbor.yml。

这里是全新部署，修改harbor.yml配置文件：

[root@harbor ~]# cd /root/harbor
[root@harbor harbor]# cp harbor.yml.tmpl harbor.yml

#只需修改hostname及https下的证书路径即可，其他保持默认
[root@harbor harbor]# more harbor.yml
# Configuration file of Harbor

# The IP address or hostname to access admin UI and registry service.
# DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
hostname: registry.harbor.com

# http related config
http:
  # port for http, default is 80. If https enabled, this port will redirect to https port
  port: 80

# https related config
https:
  # https port for harbor, default is 443
  port: 443
  # The path of cert and key files for nginx
  certificate: /data/cert/registry.harbor.com.crt
  private_key: /data/cert/registry.harbor.com.key
...

执行harbor部署

./install.sh

已经使用http方式部署harbor的情况

如果您已经使用HTTP部署了Harbor，并希望将其重新配置为使用HTTPS，请执行以下步骤。

1、运行prepare脚本以启用HTTPS。
Harbor将nginx实例用作所有服务的反向代理。您可以使用prepare脚本来配置nginx为使用HTTPS。该prepare在港的安装包，在同级别的install.sh脚本。

./prepare

2、如果Harbor正在运行，请停止并删除现有实例。
您的镜像数据保留在文件系统中，因此不会丢失任何数据。

docker-compose down -v

3、重启harbor：

docker-compose up -d

验证HTTPS连接

为Harbor设置HTTPS之后，您可以通过执行以下步骤来验证HTTPS连接。

1、打开浏览器，然后输入https://yourdomain.com。它应该显示Harbor界面。

某些浏览器可能会显示警告，指出证书颁发机构（CA）未知。使用不是来自受信任的第三方CA的自签名CA时，会发生这种情况。您可以将CA导入浏览器以删除警告。

注意，这里的CA证书位于harbor节点/root/harbor/ssl/ca.crt。

以chrome浏览器导入证书为例，搜索栏输入以下内容，下拉选择管理证书，选择受信任的证书颁发机构，然后导入ca.crt重启浏览器使用域名访问即可。

chrome://settings/security

如果没有配置dns，需要配置hosts解析

C:\Windows\System32\drivers\etc\

#hosts文件加入以下内容
192.168.93.9 registry.harbor.com

浏览器访问示例：

2、在运行Docker守护程序的机器上，检查/etc/docker/daemon.json文件以确保-insecure-registry未指定https://yourdomain.com选项。

3、从Docker客户端登录Harbor(这里从harbor节点登录)。

[root@harbor ~]# echo "192.168.93.9 registry.harbor.com" >> /etc/hosts

[root@harbor ~]# docker login registry.harbor.com
Username: admin
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

如果已将nginx443端口映射到其他端口，请在login命令中添加该端口。

docker login yourdomain.com:port

注意：从其他节点docker客户端登录harbor，必须分发ca.crt到对应客户端

对应节点执行以下操作：

[root@test ~]# mkdir -p /etc/docker/certs.d/registry.harbor.com/
[root@test ~]# scp 192.168.93.9:/root/harbor/ssl/ca.crt ca.crt /etc/docker/certs.d/registry.harbor.com/

推送镜像测试

[root@test ~]# docker login registry.harbor.com
[root@test ~]# docker tag nginx:alpine registry.harbor.com/library/nginx:alpine
[root@test ~]# docker push registry.harbor.com/library/nginx:alpine

harbor常用功能

标签保留规则

存储库可以迅速积累大量工件，在给定时间之后或由后续工件构建取代它们之后，可能不需要许多工件。这些多余的工件显然会消耗大量的存储容量。作为Harbor系统管理员，您可以定义规则来管理给定存储库中要保留多少工件，或将某些工件保留多长时间。

参考
https://goharbor.io/docs/2.0.0/working-with-projects/working-with-images/create-tag-retention-rules/

创建Dockerfile文件和build脚本构建一些差异化docker镜像进行演示：

cat > Dockerfile <<EOF
FROM nginx:alpine
ARGS num
RUN echo $num > file.txt
EOF

cat > build.sh <<EOF
for num in {1..8}
do
  docker build --build-arg $num -t registry.harbor.com/library/nginx:v$num .
  docker push registry.harbor.com/library/nginx:v$num
done
EOF

执行脚本构建8个镜像并推送到library/nginx仓库中

sh build.sh

查看上传的镜像

配置tag保留策略，仅保留nginx镜像仓库最新上传的5个镜像tag

返回项目界面，点击策略，选择立即运行

运行完成后再次查看nginx仓库中的镜像，保留了最新上传的5个镜像，其他3个已经被删除：

harbor仓库复制功能

复制允许用户在pull或push模式下在harbor和非harbor注册表之间复制资源，即镜像和charts。

Harbor系统管理员设置复制规则后，满足触发条件时，所有与定义的过滤器模式匹配的资源都将复制到目标注册表。复制的每个资源都会启动复制任务。如果目标注册表中不存在该名称空间，则会自动创建一个新的名称空间。如果它已经存在，并且复制策略中配置的用户帐户没有写权限，则该过程将失败。会员信息不被复制。
根据网络状况，复制期间可能会有一些延迟。如果复制任务失败，则会在几分钟后重新安排它并重试几次。
参考：https://goharbor.io/docs/2.0.0/administration/configuring-replication/
配置示例：
仓库管理中选择新建目标，这里将harbor官网提供的demo仓库作为目标，用户密码为默认admin/Harbor12345:

在复制管理中新建复制规则，将library项目下的所有镜像仓库同步到远端harbor仓库：

回到复制管理，点击复制开始手动触发同步

任务完成后登录demo harbor进行验证:

harbor垃圾回收策略

从Harbor删除镜像时，不会自动释放空间。您必须运行垃圾回收以通过从文件系统中删除清单不再引用的blob来释放空间。
参考：https://goharbor.io/docs/2.0.0/administration/garbage-collection/

harbor标签管理

Harbor提供两种标签来隔离不同种类的资源：

• 全局标签：由Harbor系统管理员管理，用于管理整个系统的映像。可以将它们添加到任何项目下的镜像中。
• 项目标签：由项目下的项目管理员管理，并且只能添加到项目的镜像中。

创建标签

为镜像打标签

按照标签过滤镜像