第1章Harbor介绍
1.1Harbor简介
Harbor是VMware公司开源的企业级Docker Registry 项目，可以帮助用户快速搭建企业级Docker Registry仓库服务。它以开源的Registry为基础，提供管理UI，基于角色的访问控制，AD/LDAP集成，审计日志等企业用户需求的功能。提升了用户使用Registry构建和运行环境传输镜像的效率。
ps：AD活动目录，企业用户和进程进行管理的。
1.2Harbor优势
1）基于角色控制：用户和项目都是基于项目进行组织的。而用户基于项目可以拥有不同的权限。
2）基于镜像的复制策略：镜像可以在多个Harbor实例之间进行复制（同步）。适用于负载均衡、高可用性、多数据中心、混合和多云场景。
3）支持LDAP/AD：Harbor与现有的企业LDAP/AD集成，用于用户认证和管理。
4）图像删除和垃圾收集：镜像可以被删除，也可以回收镜像占用的空间。
5）图形UI：用户可以轻松浏览、搜索镜像仓库以及对项目进行管理。
6）审计：对存储库的所有操作都进行记录。
7）RESTfuIAPI：用于大多数管理操作的RESTfuIAPI，易于与外部系统集成。
第2章Harbor架构构成（面试会问）
1）Proxy：Harbor通过前置反向代理统一接收浏览器，将请求转发给后端不同服务器。
2）Registry：负责存储docker镜像，处理docker push/pull命令。对用户每次执行push/pull时进行token验证。
3）Core services：Harbor核心功能，提供以下服
*UI：提供图形界面，帮助用户管理Registry上的镜像和授权
*Webhook：及时获取镜像变化状态工具
*Token：对pish/pull等操作进行用户验证
4）Database：为core service提供数据库服务，储存用户权限，审计日志等
5）Log collector：收集其他组件的日志，方便日后分析
ps：Harbor每个组件都是以Docker容器形式构建的，所以需要使用docker-compose
第3章Harbor 高可用部署
3.1环境介绍
两台主机安装（master、slave）docker、docker-compose、harbor
一台机子（ldns-nfs）做docker、nfs共享，dns轮询负载均衡
3.2三台主机部署
[root@master ~]# hostnamectl set-hostname master
[root@master ~]# bash
[root@master ~]# hostnamectl set-hostname slave
[root@master ~]# bash
[root@master ~]# hostnamectl set-hostname ldns-nfs
[root@master ~]# bash
3.3master、slave安装docker-ce
[root@docker ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@docker ~]# yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@docker ~]# yum makecache fastyum makecache fast
[root@docker ~]# yum -y install wget
[root@docker ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
[root@docker ~]# sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
[root@docker ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
[root@docker ~]# yum -y install docker-ce
[root@docker ~]# service docker start
3.4镜像加速器
sudo mkdir -p /etc/docker //一般都有，就不用创建了
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://naa7mog3.mirror.aliyuncs.com"]
}
EOF
systemctl daemon-reload
systemctl restart docker
docker info 查看
3.5docker-compose部署
[root@master ~]# mv docker-compose /usr/bin/
[root@master ~]# chmod +x /usr/bin/docker-compose
[root@master ~]# docker-compose -version
3.6nfs部署
[root@ldns-nfs ~]# mkdir -p /data/nfs
[root@ldns-nfs ~]# yum -y install nfs-utils rpcbind
[root@ldns-nfs ~]# vim /etc/exports
/data/nfs 192.168.9.0/24(rw,no_root_squash)
[root@ldns-nfs ~]# systemctl restart rpcbind
[root@ldns-nfs ~]# systemctl restart nfs
两台主从部署
[root@master ~]# yum -y install nfs-utils rpcbind
[root@master ~]# systemctl start rpcbind
[root@master ~]# systemctl start nfs
[root@master ~]# showmount -e 192.168.9.11
[root@master ~]# mount 192.168.9.11:/data/nfs /data/storage/
[root@master ~]# df -hT
[root@master ~]# vim /etc/fstab
192.168.9.11:/data/nfs /data/storage nfs4 defaults,_netdev 0 0
3.7nfs准备mysql、redis、postgres容器
[root@ldns-nfs ~]# docker pull redis:alpine
[root@ldns-nfs ~]# docker pull postgres
[root@ldns-nfs ~]# docker pull mysql:5.6
[root@ldns-nfs ~]# docker run -itd --name redis_test -p 6379:6379 redis:alpine
[root@ldns-nfs ~]# docker run -itd --name postgres_test -p 5432:5432 -e POSTGRES_PASSWORD=123123 postgres:latest
[root@ldns-nfs ~]# docker run -itd --name mysql_test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123123 mysql:5.6 --character-set-server=utf8
若出现报错：WARNING: IPv4 forwarding is disabled. Networking will not work.
解决方法：
[root@ldns-nfs ~]# vim /usr/lib/sysctl.d/00-system.conf
net.ipv4.ip_forward=1
[root@ldns-nfs ~]# systemctl restart network && systemctl restart docker
改名字：
[root@ldns-nfs ~]# docker rename postgres_test clair_db
[root@ldns-nfs ~]# docker rename mysql_test harbor_db
[root@ldns-nfs ~]# docker rename redis_test session
3.8Harbor部署
主从主机上传Harbor并解压
[root@master ~]# tar xf harbor-offline-installer-v1.5.0.tgz
下载数据库，连接nfs容器数据库并导入文件registry.sql
[root@master ~]# yum -y insatall mariadb
[root@master ~]# mysql -uroot -p123123 -h192.168.9.11 -P3306
[root@master ~]# mysql -uroot -p123123 -h192.168.9.11 -P3306 < harbor/ha/registry.sql
报错解决方式：
[root@master ha]# vim registry.sql
220 repository varchar(254) NOT NULL,
291 resource_name varchar(254),
修改docker-compose.yml配置文件
[root@master harbor]# vim ha/docker-compose.yml
19 - /data/storage:/storage:z
修改harbor.cfg配置文件
[root@master harbor]# vim harbor.cfg
7 hostname = www.hannibal.com
11 ui_url_protocol = https
23 ssl_cert = /etc/ssl/harbor/www.hannibal.com.crt
24 ssl_cert_key = /etc/ssl/harbor/www.hannibal.com.key
68 harbor_admin_password = Harbor12345
130 db_host = 192.168.9.11
133 db_password = 123123
136 db_port = 3306
139 db_user = root
145 redis_url = 192.168.9.11:6379
150 clair_db_host = 192.168.9.11
154 clair_db_password = 123123
157 clair_db_port = 5432
160 clair_db_username = postgres
163 clair_db = postgres
3.9Harbor配置https
[root@slave harbor]# yum -y install opssl
[root@master harbor]# mkdir -p /data/ssl
[root@slave harbor]# cd /data/ssl
[root@master ssl]# openssl req -newkey rsa:4096 -nodes -sha256 -keyout ca.key -x509 -days 365 -out ca.crt
生成签名证书
[root@master ssl]# openssl req -newkey rsa:4096 -nodes -sha256 -keyout www.hannibal.com.key -out www.hannibal.com.csr
生成注册表主机的证书
[root@master ~]# openssl x509 -req -days 365 -in www.hannibal.com.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out www.hannibal.com.crt
3.10信任自签发的域名证书
将自签ca添加到系统信任
[root@master ssl]# cp www.hannibal.com.crt /etc/pki/ca-trust/source/anchors/
立即生效
[root@master ssl]# update-ca-trust extract
[root@master ssl]# update-ca-trust enable
创建harbor证书目录，并复制
[root@master ssl]# mkdir -p /etc/ssl/harbor
[root@master ssl]# cp /data/ssl/www.hannibal.com.key /etc/ssl/harbor/
[root@master ssl]# cp /data/ssl/www.hannibal.com.crt /etc/ssl/harbor/
[root@master ssl]# ll /etc/ssl/harbor/
3.11部署并启动Harbor
[root@master ]# cd harbor/
[root@master harbor]# ./install.sh --with-clair --ha
[root@master harbor]# docker-compose ps
访问192.168.9.9
点高级，继续。
用户：admin
密码：Harbor12345
3.12客户端连接测试
使用安装docker主机连接测试，这里我们使用ldns-nfs主机测试。
[root@ldns-nfs ~]# vim /etc/hosts
192.168.9.9 www.hannibal.com
将master主机的证书发送给测试机
[root@master harbor]# scp www.hannibal.com.crt 192.168.9.11:/etc/pki/ca-trust/source/anchors/
测试机立即设置生效
[root@ldns-nfs ~]# update-ca-trust enable
[root@ldns-nfs ~]# update-ca-trust extract
[root@ldns-nfs ~]# systemctl restart docker
开启容器
[root@ldns-nfs ~]# docker start ea0
ea0
[root@ldns-nfs ~]# docker start 827
827
[root@ldns-nfs ~]# docker start e3e
e3e
登录harbor
[root@ldns-nfs ~]# docker login www.hannibal.com
username：admin
password：Harbor12345
上传镜像到仓库中的项目中
[root@ldns-nfs ~]# docker images
[root@ldns-nfs ~]# docker tag redis:alpine www.hannibal.com/library/redis
[root@ldns-nfs ~]# docker push www.hannibal.com/library/redis
上传成功
ps:
别忘了若想使用http修改docker启动文件
[root@ldns-nfs ~]# vim /usr/lib/systemd/system/docker.service
13 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containe rd.sock --insecure-registry 192.168.9.9
[root@ldns-nfs ~]# systemctl restart docker
3.13Harbor备库部署
部署docker-ce
阿里云镜像加速器
上传Harbor压缩包解压。
[root@slave harbor]# cd harbor
[root@slave harbor]# vim ha/docker-compose.yml
19 - /data/storage:/storage:z
修改harbor.cfg配置文件
[root@slave harbor]# vim harbor.cfg
7 hostname = www.hannibal.com
11 ui_url_protocol = https
23 ssl_cert = /etc/ssl/harbor/www.hannibal.com.crt
24 ssl_cert_key = /etc/ssl/harbor/www.hannibal.com.key
68 harbor_admin_password = Harbor12345
130 db_host = 192.168.9.11
133 db_password = 123123
136 db_port = 3306
139 db_user = root
145 redis_url = 192.168.9.11:6379
150 clair_db_host = 192.168.9.11
154 clair_db_password = 123123
157 clair_db_port = 5432
160 clair_db_username = postgres
163 clair_db = postgres
[root@slave ~]# mkdir /etc/ssl/harbor
[root@slave ~]# cd /etc/ssl/harbor/
[root@slave harbor]# scp 192.168.9.9:/etc/ssl/harbor/www.hannibal.com.* ./
[root@slave harbor]# ls
www.hannibal.com.crt www.hannibal.com.key
[root@slave harbor]# cp www.hannibal.com.crt /etc/pki/ca-trust/source/anchors/
[root@slave harbor]# update-ca-trust extract
[root@slave harbor]# update-ca-trust enable
[root@slave harbor]# cd
[root@slave ~]# cd harbor/
[root@slave harbor]# ./install.sh --with-clair --ha
yes
3.14测试
[root@ldns-nfs ~]# docker pull busybox
[root@ldns-nfs ~]# docker tag busybox:latest www.hannibal.com/library/busybox
[root@ldns-nfs ~]# docker push www.hannibal.com/library/busybox
主从都有了。
3.15高可用简介
3.15.1项目创建
两个Harbor都有了
再上传时，可以修改docker tag 改成abc，就可以添加到abc项目了。
3.15.2高可用
可以修改hosts文件指定为备库实现高可用
[root@ldns-nfs ~]# vim /etc/hosts
192.168.9.10 www.hannibal.com
[root@ldns-nfs ~]# docker logout
[root@ldns-nfs ~]# docker login www.hannibal.com
[root@ldns-nfs ~]# docker push www.hannibal.com/library/busybox
可以上传，高可用完成
3.16 dns实现负载均衡
[root@ldns-nfs ~]# yum -y install bind
[root@ldns-nfs ~]# vim /etc/named.conf
options {
directory "/var/named";
};
zone "hannibal.com" IN {
type master;
file "hannibal.zheng";
};
[root@ldns-nfs ~]# vim /var/named/hannibal.zheng
[root@ldns-nfs ~]# systemctl start named
[root@ldns-nfs ~]# vim /etc/resolv.conf
2 nameserver 192.168.9.11
[root@ldns-nfs ~]# nslookup www.hannibal.com
3.17架构隐患
1）NFS单点问题
2）镜像太多导致占用大量的磁盘空间及镜像访问磁盘io压力大
解决方案
1）NFS 做成高可用 NFS+DRBD+Heartbeat
2）存储使用分布式文件系统（GlusterFS）
3）Harbor支持主从复制（双向） + Keepalived （类似第一种解决方案，但是使用服务器数量少）
第4章Harbor 使用
4.1创建项目
4.2创建用户
可以设置取消管理员
使用创建用户登录操作
[root@ldns-nfs ~]# docker logout
[root@ldns-nfs ~]# docker login www.hannibal.com
4.3查看日志
4.4管理Harbor
4.4.1停止、启动、重启Harbor
[root@master ~]# cd harbor/
[root@master harbor]# docker-compose stop | start | restart
4.4.2 修改Harbor.cfg
[root@master harbor]# docker-compose down -v //先关闭所有Harbor实例
[root@master harbor]# vim harbor.cfg
[root@master harbor]# ./prepare //适配更改配置文件
[root@master harbor]# docker-compose up -d //启动Harbor
4.4.3移除Harbor容器但保留镜像数据
[root@master harbor]# docker-compose down -v
4.4.4 移除Harbor全部数据，重新部署
[root@master harbor]# rm -r /data/database
[root@master harbor]# rm -r /data/registry
4.5 Harbor安全管理
4.5.1 opssl安全认证
配置https，具体操作看前面部署。
4.5.2 配置安全模式
项目扫描
4.5.2 配置管理
4.5.2 客户端下发域名证书
详见前面Harbor部署
扫一扫
1776
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
