前言:
- Habor是由VMWare公司开源的容器镜像仓库。事实上,Habor是在Docker Registry上进行了相应的企业级扩展,从而获得了更加广泛的应用,这些新的企业级特性包括:管理用户界面,基于角色的访问控制 ,AD/LDAP集成以及审计日志等,足以满足基本企业需求。
官方地址:https://vmware.github.io/harbor/cn/
一、Harbor简介
- harbor是vmware开源的企业级registry,可以让你迅速的搭建自己的私有registry,harbor扩展的docker的registry,使harbor支持以下特性
- ① RBAC 基于角色的权限控制( 是实施面向企业安全策略的一种有效的访问控制方式 )
- ② 基于策略的镜像复制
- ③ 漏扫
- ④ LADP/AD支持
- ⑤ 镜像删除和垃圾清理
- ⑥ Notary镜像签名
- ⑦ 用户界面
- ⑧ 审计
- ⑨ RESful api
- ⑩ 安装简单(基于compose)
二、Harbor 架构即组件介绍
2.1 Harbor架构介绍
Harbor 主要有6大模块,默认每个Harbor的组件都被封装成一个docker container,所以可以通过compose来部署Harbor,总共分为8个容器运行,可通过docker cpmpos ps 查看
[root@localhost ~]# docker-compose ps
Name Command State Ports
--------------------------------------------------------------------------------------
harbor-adminserver /harbor/harbor_adminserver Up
harbor-db docker-entrypoint.sh mysqld Up 3306/tcp
harbor-jobservice /harbor/harbor_jobservice Up
harbor-log /bin/sh -c crond && rm -f Up 127.0.0.1:1514->514/tcp
...
harbor-ui /harbor/harbor_ui Up
nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp,
0.0.0.0:4443->4443/tcp,
0.0.0.0:80->80/tcp
registry /entrypoint.sh serve /etc/ Up 5000/tcp
-
简易架构图
-
harbor-adminserver:harbor系统管理接口,可以修改系统配置以及获取系统信息
-
harbor-db:存储项目的元数据、用户、规则、复制策略等信息
-
harbor-jobservice:harbor里面主要是为了镜像仓库之前同步使用的
-
harbor-log:收集其他harbor的日志信息。rsyslogd
-
harbor-ui:一个用户界面模块,用来管理registry。主要是前端的页面和后端CURD的接口
-
nginx:harbor的一个反向代理组件,代理registry、ui、token等服务。这个代理会转发harbor web和docker client的各种请求到后端服务上。是个nginx。nginx负责流量转发和安全验证,对外提供的流量都是从nginx中转,它将流量分发到后端的ui和正在docker镜像存储的docker registry
-
registry:存储docker images的服务,并且提供pull/push服务。harbor需要对image的访问进行访问控制,当client每次进行pull、push的时候,registry都需要client去token服务获取一个可用的token。
-
redis:存储缓存信息
-
webhook:当registry中的image状态发生变化的时候去记录更新日志、复制等操作。
token service:在docker client进行pull/push的时候token(令牌)的发放
2.2 harbor-login 介绍
2.2.1 harbor-login工作流程
a:nginx代理在80端口收到client发来的请求,然后把该请求转发到后端的registry
b:registry收到请求,因为registry是配置的token-based的认证,所以会直接返回一个401状态码,然后返回一个url,通过client去哪里获取token,也就是token service
c:当docker client收到这个url后,会对这个url发送请求,需要在请求头中植入用户名和密码。
d:当请求到达nginx反向代理后,nginx会把该请求转发至ui服务上,因为ui符核token服务在一个容器里,token服务会解码请求头中用户名和密码
e:拿到用户名和密码后会合db(数据库)中的进行对比,如果验证无误,则返回成功,在返回的http请求中包含一个私有key
2.3 harbor-push
2.3.1 harbor-push工作流程
-
省略了proxy转发这一步
-
当登录harbor成功后,docker push 就可以使用了
a:docker client和registry交互,获取到token service 的url
b:随后docker client和token service 交互后,告诉token 需要进行push操作
c:token服务查看db,该用户是否有相关的权限来push image,如果有此权限,则返回一个私有的key
d:docker client拿到token 后,会对registry发起push请求,当registry收到请求后,会用自己的公钥解密token,如果验证token是合格的,则开始image传输过程
2.4 clair
- clair 是 coreos 开源的容器漏洞扫描工具,在容器逐渐普及的今天,容器镜像安全问题日益严重。clair 是目前少数的开源安全扫描工具,主要提供OS(centos,debian,ubuntu等)的软件包脆弱性扫描。clair的可以单机部署也可以部署到k8s上,可以与现有的registry集成。harbor 很好的整合了 clair ,通过简单的UI就可以对上传的镜像扫描,还可以通过每天的定时扫描对所有镜像进行统一扫描,架构如下:
-
Notary
notary是一套docker镜像的签名工具,用来保证镜像在pull,push和传输过程中的一致性和完整性,避免中间人攻击、避免非法的镜像更新和运行
2.5 私有仓库的优点
-
其实,私有库的镜像最原始来源还是从公库中下载的,但是企业公司中为什么不都直接使用公库下载需要的镜像呢,允许使用 registry 搭建本地私有仓库,具备这些公库不具备的优点:
① 节省网络带宽,针对每个镜像不用每个人都去中央仓库上面下载,只需要从私有仓库中下载即可
② 提供镜像资源利用,针对公司内部使用的镜像,推送到本地私有仓库,以供内部相关人员使用
三、配置文件参数详解
- 关于Harbor.cfg配置文件有两类参数:所需/必要参数和可选参数
3.1 所需/必要参数
-
这些参数需要在配置文件Harbor.cfg中设置,如果用户更新它们后,需要运行install.sh脚本重新安装Harbour,参数将生效,具体参数如下:
① hostname:用于访问用户界面和register服务,它应该是目标主机的IP地址或完全限定的域名(FQDN)
② ui_url_protocol:(http 或 https,默认为http)用于访问UI和令牌/通知服务的协议。如果公证处于启用状态,则此参数必须为https。(令牌默认有30分钟生命周期)
③ max_job_workers:镜像复制作业线程
④ db_password:用于db_auth 的MySQL 数据库root用户的密码(用户信息数据验证的存放位置,一般使用mysql)
⑤ customize_crt:该属性可设置为打开或关闭,默认打开,打开此属性,准备脚本创建私钥和根证书,用于生成/验证注册表令牌
当由外部来源提供密钥和根证书时,将此属性设置为off
⑥ ssl_cert:SSL证书的路径,仅当协议设置为htts时才应用
⑦ ssl_cert_key:SSL密钥的路径,仅当协议设置为https时才应用
⑧ secretkey_path:用于复制策略中加密或解密远程register密码的密钥路径
3.2 可选参数
- 这些参数对于更新是可选的,即用户可以将其保留为默认值,并在启动Harbor后再Web UI上进行更新。
- 如果进入Harbor.cfg,只会再第一次启动Harbour时生效,随后对这些参数的更新,Harbor.cfg 将被忽略。
- PS:如果选择通过UI设置这些参数,请确保再启动Harbor后立即执行此操作。具体来说,必须再注册或者再Harbor中创建任何新用户之前设置所需的auth_mode。当系统中由用户时(除了默认admin用户),auth_mode不能被更改。具体参数如下:
- ① Email:Harbor需要该参数才能向用户发送“密码重置”点自邮件,并且只有再需要该功能时才需要。
- 在默认的情况下SSL连接时没有启用。如果SMTP服务器需要SSL,但不支持STARTTLS,那么应该通过设置启用SSL email_ssl =TRUE
- ② harbour_admin_password:管理员的初始密码,只在Harbour第一次启动时生效。之后,此设置将被忽略,并且应UI中设置管理员的密码
- 默认用户名/密码为 admin/Harbor12345
- ③ auth_mode:使用的认证类型,默认情况下,它是db_auth,即凭据存储在数据库中,对于LDAP(目录/文件形式)身份验证,请将其设置为idap_auth
- ④ self_registration:启动/禁用用户注册功能。禁用时,新用户只能由Admin用户创建,只有管理员用户可以在Harbour中创建新用户
- 当auth_mode 设置为ldap_auth时,自注册功能将使用储于禁用状态,并且该标志被忽略
- ⑤ Token_expiration:由令牌服务创建的令牌的到期时间(分钟),默认为30分钟(30分钟没有与harbor进行交互,则会失效,可在web页面和配置文件中做修改)
- ⑥ project_creation_restriction:用于控制哪些用户有权限创建项目的标志。默认情况下,每个人都可以创建一个项目
- 如果将其值设置为"adminonly",那么只有admin可以创建项目
- ⑦ verify_remote_cert:打开或关闭,默认打开,此标志决定了当Harbor与远程register实例通信时是否验证SSL/TLS证书
- 将此属性设置为off 将绕过SSL/TLS验证,这在远程实例具有自签名或不可信证书时经常使用
- 在默认情况下,Harbour将镜像存储在本地文件系统上,在生产环境中,可以考虑使用其他存储后端而不是本地文件系统
- 例如:S3、Openstack、Swif、Ceph等。但需要更新 common/template/registry/config.yml文件。
四、搭建Harbor私有仓库
3.1 下载harbor安装程序和docker-compose
wget http://harbor.orientsoft.cn/harbor-1.2.2/harbor-offline-installer-v1.2.2.tgz
[root@localhost abc]# tar zvxf harbor-offline-installer-v1.2.2.tgz -C /usr/local/
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
[root@localhost ~]# chmod +x docker-compose
#给与docker-cpmpose执行权限,否则会harbor会安装失败
[root@localhost ~]# cp docker-compose /usr/bin
#将docker-compose 复制到/bin目录下便于系统识别
#因为harbor中是通过dokcer-compose编排来安装多组容器,所以需要安装docker-compose软件
- 修改harbor配置文件
#修改hostname地址,指向本机
[root@localhost harbor]# vim harbor.cfg
#第五行
hostname = 192.168.226.132 #指向本机地址
- 启动harbor
[root@localhost harbor]# sh install.sh
.....省略部分内容
Creating network "harbor_harbor" with the default driver #网络
Creating harbor-log ... done #日志
Creating harbor-adminserver ... done #管理端
Creating harbor-db ... done #数据库(mysql)
Creating registry ... done #核心,私有仓库的容器
Creating harbor-ui ... done #web界面端
Creating harbor-jobservice ... done #工作目录
Creating nginx ... done #nginx
✔ ----Harbor has been installed and started successfully.----
Now you should be able to visit the admin portal at http://192.168.226.132.
For more details, please visit https://github.com/vmware/harbor .
- 检查启动情况
#查看镜像列表
docker images
#检查容器启动状态
dokcer ps -a
docker-compose ps
#以上两者都可以查看到容器状态,docker ps -a 查看的信息更多一些
#同时docker-compose ps 只能在当前目录中包含docker-compose.yml,docker-compose.yaml文件时才可以使用
- 使用浏览器访问本地IP
3.2 Harbor 的使用
3.2.1 登录、项目创建
-
使用默认admin账号 密码Harbor12345登录、创建项目
-
此时可以使用Docker命令在本地通过127.0.0.1 来登录和推送镜像,默认情况下,Register服务器在端口80上倾听
3.2.2 Harbor端服务器本地上传镜像
- 终端登录Harbor
[root@localhost harbor]# docker login -u admin -p Harbor12345 http://127.0.0.1/
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
- 在共有仓库中下载镜像
[root@localhost harbor]# docker pull nginx
#docker pull 规则:如果不指定节点IP,默认会从docker 官方仓库下载
.....省略部分内容
-
推送nginx镜像到私有仓库
-
① 定义标签
格式:docker tag [当前镜像] 仓库IP地址/项目名称/镜像名称
-
#定义标签 定义镜像v1版本(因为之后版本可能会不断更新,所以此处设置v1版本)
[root@localhost harbor]# docker tag nginx:latest 127.0.0.1/myproject-changz/nginx:v1
[root@localhost harbor]# docker images
REPOSITORY TAG IMAGE ID CREATED
SIZE
127.0.0.1/myproject-changz/nginx v1 602e111c06b6 43 hours ag
- 上传/推送镜像
[root@localhost harbor]# docker push 127.0.0.1/myproject-changz/nginx
...........省略部分内容
-
以上操作需要在终端已登录Harbor仓库的前提下进行
-
查看Harbor 镜像是否上传成功
3.2.3 客户端服务器使用Harbor
-
这里使用客户端服务器进行镜像下载、上传实验
-
① 下载镜像
-
修改配置配置文件
-
在Harbor服务器本地终端操作是没有问题的,但是如果其他客户端上传镜像到Harbor,就会报错,出现此问题的原因是 Docker Registry 交互默认使用的是HTTPS,但是搭建私有镜像默认的是HTTP服务,所以与私有镜像交互时出现以下错误
#使用192.168.226.133服务器尝试登录Harbor
[root@localhost ~]# docker login -u admin -p Harbor12345 http://192.168.226.132
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Error response from daemon: Get https://192.168.226.132/v2/: dial tcp 192.168.226.132:443: connect: connection refused
- 解决方法:
- 修改docker.service 配置文件,关联私有仓库
[root@localhost ~]# cd /usr/lib/systemd/system/
[root@localhost system]# vim docker.service
#在14行fd:// 后添加--insecure-registry 192.168.226.132
ExecStart=/usr/bin/dockerd -H fd:// --insecure-registry 192.168.226.132 --containe rd=/run/containerd/containerd.sock
- 参数简述
- ExecStart=/usr/bin/dockerd 准启动状态,加载指定目录的脚本
- fd:// --insecure-registry 192.168.226.132 --containe rd=/run/containerd/containerd.sock 指定连接 registry地址和容器的通信文件
- 重新加载进程、重启docker服务
[root@localhost system]# systemctl daemon-reload
[root@localhost system]# systemctl restart docker
[root@localhost system]# docker login -u admin -p Harbor12345 http://192.168.226.132
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
- 下载私有仓库中已有的镜像
[root@localhost system]# docker pull 192.168.226.132/myproject-changz/nginx:v1
v1: Pulling from myproject-changz/nginx
54fec2fa59d0: Pull complete
4ede6f09aefe: Pull complete
f9dc69acb465: Pull complete
Digest: sha256:cccef6d6bdea671c394956e24b0d0c44cd82dbe83f543a47fdc790fadea48422
Status: Downloaded newer image for 192.168.226.132/myproject-changz/nginx:v1
192.168.226.132/myproject-changz/nginx:v1
[root@localhost system]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
192.168.226.132/myproject-changz/nginx v1 602e111c06b6 44 hours ago 127MB
- 返回Harbor可以查看到下载和日志信息
- ② 上传镜像到私有库中
- 先从共有仓库下载criros镜像
[root@localhost system]# docker pull cirros
Using default tag: latest
latest: Pulling from library/cirros
f513001ba4ab: Pull complete
8da581cc9286: Pull complete
856628d95d17: Pull complete
Digest: sha256:21874a9fd73378a29345163e026bc9c2a61aef62526f2b4f22a5d488059970f6
Status: Downloaded newer image for cirros:latest
docker.io/library/cirros:latest
[root@localhost system]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
192.168.226.132/myproject-changz/nginx v1 602e111c06b6 44 hours ago 127MB
cirros latest 3c82e4d066cf 7 weeks ago 12.6MB
- 修改标签、上传镜像到私有仓库
[root@localhost system]# docker tag cirros:latest 192.168.226.132/myproject-changz/cirros:v1
[root@localhost system]# docker push 192.168.226.132/myproject-changz/cirros:v1
The push refers to repository [192.168.226.132/myproject-changz/cirros]
858d98ac4893: Pushed
aa107a407592: Pushed
b993cfcfd8fd: Pushed
v1: digest: sha256:c7d58d6d463247a2540b8c10ff012c34fd443426462e891b13119a9c66dfd28a size: 943
- 查看Harbor
四、私有仓库管理
4.1 维护管理Harbor
- Harbor私有仓库可以使用docker-compose进行管理,一些基本管理命令如下:
- 需注意,使用docker-compose命令时,必须在docker-compose.yml相同的目录运行
- 关闭所有容器
[root@localhost harbor]# docker-compose down -v
Stopping harbor-jobservice ... done
Stopping nginx ... done
Stopping harbor-ui ... done
Stopping harbor-db ... done
Stopping harbor-adminserver ... done
Stopping registry ... done
Stopping harbor-log ... done
Removing harbor-jobservice ... done
Removing nginx ... done
Removing harbor-ui ... done
Removing harbor-db ... done
Removing harbor-adminserver ... done
Removing registry ... done
Removing harbor-log ... done
Removing network harbor_harbor
- 修改配置文件
- 如上文所说,如修改所需参数,需要重新运行install.sh,如修改可选参数,则需运行脚本 ./prepare 将配置文件内容进行重新生效
[root@localhost harbor]# ./prepare
Clearing the configuration file: ./common/config/adminserver/env
Clearing the configuration file: ./common/config/ui/env
Clearing the configuration file: ./common/config/ui/app.conf
.....省略部分内容
- 重新启动所有容器
- 实验环境中,在重新刷新启动容器的时候不要关闭防火墙,否则会报错
[root@localhost harbor]# docker-compose up -d
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating harbor-db ... done
Creating registry ... done
Creating harbor-adminserver ... done
Creating harbor-ui ... done
Creating harbor-jobservice ... done
Creating nginx ... done
4.2 创建Harbor用户
- 添加用户
- 以上用户创建完成后只是创建了系统用户,下一步需要给与用户管理项目的权限,如下:
- 使用新用户登录
- ① 首先现登出admin账户(在客户端操作)
[root@localhost system]# docker logout 192.168.226.132
Removing login credentials for 192.168.226.132
- 使用新用户登录(切换用户身份)
[root@localhost system]# docker login 192.168.226.132
Username: changz
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
- 之后可以使用新用户进行镜像上传/下载等操作
总结:
-
简单来说Harbor私有仓库进行简单的部署还是比较简单的,主要思路如下:
-
① 环境:docker-ce
-
② 准备软件: Harbor、docker-compose
-
③ 修改harbor.cfg 中的hostname
-
④ 安装启动harbor(install.sh)
-
⑤ 搭建完成
-
在客户端,如果想要登入harbor,需要修改/usr/lib/systemd/system/docker.server 配置文件,在准启动(Exstart)配置项中的-H fd:// 后添加 –insecure-registry [harbor服务器地址],后重载进程和docker即可
-
之后会在Kerbernetes中也使用到私有仓库~~这个之后再介绍啦