Docker容器技术——企业级镜像仓库harbor的部署和使用

1. 什么是harbor

• Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器。
• 镜像的存储harbor使用的是官方的docker registry(v2命名是distribution)服务去完成。
• harbor在docker distribution的基础上增加了一些安全、访问控制、管理的功能以满足企业对于镜像仓库的需求。
• harbor以docker-compose的规范形式组织各个组件，并通过docker-compose工具进行启停。

2. 为什么使用harbor

docker的registry用本地存储或者s3都可以的，harbor的功能是在此之上提供用户权限管理、镜像复制等功能，提高使用的registry的效率。Harbor的镜像拷贝功能是通过docker registry的API去拷贝，这种做法屏蔽了繁琐的底层文件操作、不仅可以利用现有docker registry功能不必重复造轮子，而且可以解决冲突和一致性的问题。

Harbor是VMware公司开源了企业级Registry项目, 其的目标是帮助用户迅速搭建一个企业级的Docker registry服务。

它以Docker公司开源的registry为基础，额外提供了如下功能:

• 基于角色的访问控制(Role Based Access Control)
• 基于策略的镜像复制(Policy based image replication)
• 镜像的漏洞扫描(Vulnerability Scanning)
• AD/LDAP集成(LDAP/AD support)
• 镜像的删除和空间清理(Image deletion & garbage collection)
• 友好的管理UI(Graphical user portal)
• 审计日志(Audit logging)
• RESTful API
• 部署简单(Easy deployment)

3. harbor的架构

Harbor依赖的外部组件

• Nginx(Proxy)： Harbor的registry，UI，token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
• Registry v2： Docker官方镜像仓库, 负责储存Docker镜像，并处理docker push/pull命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token,，Registry会通过公钥对token进行解密验证。
• Database(MySQL)：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。

Harbor自己的组件

Core services(Admin Server): 这是Harbor的核心功能，主要提供以下服务：

• UI：提供图形化界面，帮助用户管理registry上的镜像（image）, 并对用户进行授权。
• webhook：为了及时获取registry 上image状态变化的情况， 在Registry上配置webhook，把状态变化传递给UI模块。
• Auth服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Registry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
• API： 提供Harbor RESTful API
• Replication Job Service：提供多个 Harbor 实例之间的镜像同步功能。
• Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析。

4. 主要组件的汇总

组件	功能
Proxy	对应启动组件nginx。它是一个nginx反向代理，代理Notary client（镜像认证）、Docker client（镜像上传下载等）和浏览器的访问请求（Core Service）给后端的各服务
UI（Core Service）对应启动组件harbor-ui。底层数据存储使用mysql数据库，主要提供了四个子功能	UI：一个web管理页面ui；API：Harbor暴露的API服务；Auth：用户认证服务，decode后的token中的用户信息在这里进行认证；auth后端可以接db、ldap、uaa三种认证实现
Token服务（上图中未体现）	负责根据用户在每个project中的role来为每一个docker push/pull命令issuing一个token，如果从docker client发送给registry的请求没有带token，registry会重定向请求到token服务创建token
Registry	对应启动组件registry。负责存储镜像文件，和处理镜像的pull/push命令。Harbor对镜像进行强制的访问控制，Registry会将客户端的每个pull、push请求转发到token服务来获取有效的token
Admin Service	对应启动组件harbor-adminserver。是系统的配置管理中心附带检查存储用量，ui和jobserver启动时候需要加载adminserver的配置
Job Sevice	对应启动组件harbor-jobservice。负责镜像复制工作的，他和registry通信，从一个registry pull镜像然后push到另一个registry，并记录job_log
Log Collector	对应启动组件harbor-log。日志汇总组件，通过docker的log-driver把日志汇总到一起
Volnerability Scanning	对应启动组件clair。负责镜像扫描
Notary	对应启动组件notary。负责镜像认证
DB	对应启动组件harbor-db，负责存储project、 user、 role、replication、image_scan、access等的metadata数据

5. 部署harbor

5.1 准备工作

harbor git 地址：

https://github.com/goharbor/harbor

harbor支持k8s的helm安装和本地安装，这次的安装方式是本地安装，运行环境是 Rhel7.6。

（1）下载docker

yum install docker-ce -y
systemctl start docker
systemctl enable docker

（2）加密，生成证书

mkdir -p certs
openssl req -newkey rsa:4096 -nodes -sha256 -keyout certs/westos.org.key -x509 -days 365 -out certs/westos.org.crt

#做解析
vim /etc/hosts
172.25.1.1 server1 reg.westos.org

（3）拉取仓库的镜像

docker search registry
docker pull registry

（4）生成用户的认证文件

mkdir auth
docker run --rm --entrypoint htpasswd registry -Bbn admin westos > auth/htpasswd
docker run --rm --entrypoint htpasswd registry -Bbn kai westos >> auth/htpasswd   #追加
cat auth/htpasswd 

（5）运行容器

docker run -d \
> --restart=always \
> --name registry \
> -v "$(pwd)"/certs:/certs \
>  -e REGISTRY_HTTP_ADDR=0.0.0.0:443 \
> -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/westos.org.crt \
> -e REGISTRY_HTTP_TLS_KEY=/certs/westos.org.key \
> -p 443:443 \
> -v "$(pwd)"/auth:/auth \
> -e "REGISTRY_AUTH=htpasswd" \
> -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
> -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
> registry

（6）拷贝证书到docker的配置目录下

cd /etc/docker/
ls
mkdir -p certs.d/westos.org
cd certs.d/westos.org/
cp ~/certs/westos.org.crt .
ls
pwd
mv westos.org.crt ca.crt		#必须要命名为ca.crt

5.2 部署docker-compose

在线安装：

curl -L "https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

给docker-compose执行权限

chmod +x /usr/local/bin/docker-compose

检查，运行docker-compose --version

docker-compose --version

5.3 harbor的下载和安装

下载地址：https://github.com/goharbor/harbor/releases

#下载成功后解压
tar zxf harbor-offline-installer-v1.10.1.tgz 
cd harbor/
ls

harbor.yml 就是harbor的配置文件，编辑harbor.yml，修改hostname、https证书路径、admin密码

vim harbor.yml

注意：每次修改完配置文件后都需要运行

./prepare 

启动harbor

./install.sh

运行成功，docker ps 查看，可以看到服务已经起来了

常用管理命令

停止服务： docker-compose stop
开始服务： docker-compose start
重启服务： docker-compose restart

注意：这些命令均要在harbor目录下运行

6. 图形化界面的使用

#在真机做解析
vim /etc/hosts
172.25.1.1 server1 reg.westos.org

浏览器访问https://reg.westos.org：

输入用户名admin，密码Harbor12345登陆：

新建一个项目，命名为 wk，并设置访问级别为公开

这里的项目就是一私有化的Docker镜像仓库

7. 本机镜像上传与下载测试

7.1 上传测试

step1 修改Docker配置
docker 默认是按 https 请求的，修改文件 /etc/docker/daemon.json

vim /etc/docker/daemon.json

step2 重启docker

systemctl daemon-reload 
systemctl restart docker

step3 制作镜像

从 docker hub 上拉取一个ubuntu镜像，再将其制作成一个私有镜像

docker pull ubuntu
docker tag ubuntu:latest reg.westos.org/cl/ubuntu:latest

step4上传测试

首先登陆私有库

docker login reg.westos.org

接下来进行PUSH：

docker push reg.westos.org/cl/ubuntu

可以在网页端查看结果：

7.2 下载测试

docker rmi reg.westos.org/cl/ubuntu		#删除原来的镜像
docker pull reg.westos.org/cl/ubuntu	#拉取镜像

下载成功！

8. 远程主机镜像上传与下载测试

8.1 上传测试

准备另一台虚拟机server2

首先安装好docker，再做好解析：

vim /etc/hosts

daemon文件配置：

vim /etc/docker/daemon.json 

建立证书目录，把crt证书放到/etc/docker/certs.d/harbor.dinginfo.com目录下

mkdir -p /etc/docker/certs.d/reg.westos.org
cd /etc/docker/certs.d/harbor.dinginfo.com
cp ~/certs/westos.org.crt .

重启docker

systemctl daemon-reload
systemctl restart docker

上传测试：

docker login reg.westos.org

docker tag nginx:latest reg.westos.org/cl/nginx
docker push reg.westos.org/cl/nginx

网页端查看：

上传成功！

8.2 下载测试

docker pull reg.westos.org/cl/ubuntu

下载成功！