【devops】八、集成Harbor

说明

在Jenkins服务器上部署Harbor仓库，如果电脑内存允许，可以新加一台服务器部署Harbor。

八、集成Harbor

8.1 Harbor介绍

前面在部署项目时，我们主要采用Jenkins推送jar包到指定服务器，再通过脚本命令让目标服务器对当前jar进行部署，这种方式在项目较多时，每个目标服务器都需要将jar包制作成自定义镜像再通过docker进行启动，重复操作比较多，会降低项目部署时间。

我们可以通过Harbor作为私有的Docker镜像仓库。让Jenkins统一将项目打包并制作成Docker镜像发布到Harbor仓库中，只需要通知目标服务器，让目标服务器统一去Harbor仓库上拉取镜像并在本地部署即可。

Docker官方提供了Registry镜像仓库，但是Registry的功能相对简陋。Harbor是VMware公司提供的一款镜像仓库，提供了权限控制、分布式发布、强大的安全扫描与审查机制等功能。

8.2 Harbor安装——原生方式部署

这里采用原生的方式安装Harbor。

1. 下载Harbor安装包：
   https://github.com/goharbor/harbor/releases/download/v2.3.4/harbor-offline-installer-v2.3.4.tgz

2. 将安装包拖拽到Linux系统中并解压：
   tar -zxvf harbor-offline-installer-v2.3.4.tgz -C /usr/local/
   注：-C 选项的作用是：指定需要解压到的目录。

3. 修改Harbor配置文件：

① 首先复制一份harbor.yml配置

# 进入目录
cd /usr/local/harbor
# 复制一份yml文件，并编辑yml文件
cp harbor.yml.tmpl harbor.yml
vim harbor.yml

② 编辑harbor.yml配置文件

4. 启动Harbor

cd /usr/local/harbor
./install.sh

如果想要停止harbor容器实例，命令如下

docker-compose down harbor
使用docker ps 查看容器实例，就发现harbor容器已经关闭 

查看日志：

5. 登录Harbor
   密码可以在/usr/local/harbor/harbor.yml文件中看
   

首页信息：

8.3 Harbor使用方式

Harbor作为镜像仓库，主要的交互方式就是将镜像上传到Harbor上，以及从Harbor上下载指定镜像。
在传输镜像前，可以先使用Harbor提供的权限管理，将项目设置为私有项目，并对不同用户设置不同角色，从而更方便管理镜像。
这里我使用的是公开的仓库。

8.3.1 添加用户构建项目

1. 构建项目（设置为私有的话，后面从harbor上拉取镜像需要登录）
   我这里直接使用公开仓库了（记得勾选公开）
   

私有仓库创建步骤：

创建用户：

给项目追加用户：

切换测试用户：

8.3.2 发布镜像到Harbor

1. 修改镜像名称
   名称要求：harbor地址/项目名/镜像名:版本

# 改名命令
docker tag [镜像id] 镜像仓库地址/项目名/镜像名:版本

这里我把mytest:v1.0.0镜像改名为：192.168.2.211:80/repo/mytest:v1.0.0

2. 修改daemon.json文件，支持从Docker仓库拉取镜像，并重启Docker

vim /etc/dokcer/daemon.json

# 把自己的harbor仓库IP地址内容加进去，注意要在上一行结束的地方加逗号
"insecure-registries": ["192.168.2.211:80"]

# 重启docker
systemctl restart docker

3. 登录harbor仓库，推送镜像，到harbor仓库查看

docker login -u 用户名 -p 密码 Harbor地址

# 这里登录我的仓库，并推送镜像
docker login -u admin -p Harbor12345 192.168.2.211:80
docker push 192.168.2.211:80/repo/mytest:v1.0.0

8.3.3 指定目标服务器从Harbor拉取镜像

跟传统方式一样，不过需要在目标服务器上先配置/etc/docker/daemon.json文件，再重启docker

{
        "registry-mirrors": ["https://pee6w651.mirror.aliyuncs.com"],
        "insecure-registries": ["192.168.2.211:80"]
}

# 重启docker
systemctl restart docker

#如果镜像仓库是私有的，需要先登录，执行docker login命令。由于这里是公开的仓库，所以不用登录
docker login -u 用户名 -p 密码 harbor仓库地址

8.3.4 Jenkins容器使用宿主机Docker

构建镜像和发布镜像到harbor都需要使用到docker命令。而在Jenkins容器内部安装Docker成本比较高，官方推荐直接采用宿主机带的Docker。

首先要修改/var/run/docker.sock的所属组和权限，让其他人也拥有读写的权限；然后通过数据卷的方式，把相应的文件同步到Jenkins容器内部。从而达到在Jenkins内部可以使用docker命令的目的。

1. 设置宿主机docker.sock权限：

# 修改docker.sock所属组为root
sudo chown root:root /var/run/docker.sock
# 增加其他用户的读写权限
sudo chmod o+rw /var/run/docker.sock

修改前

修改后

2. 添加数据卷
   由于我安装Jenkins时使用的是docker run命令安装的，这里修改执行命令后再次执行

cd /usr/local/docker/jenkins_docker/

#修改命令并运行
docker run -di --name jenkins \
-p 8080:8080 -p 50000:50000 -u root  \
-v ./data:/var/jenkins_home \
-v /usr/bin/docker:/usr/bin/docker \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /etc/docker/daemon.json:/etc/docker/daemon.json \
--restart always \
jenkins/jenkins:2.361.2


# 配置国内源安装插件
cd /usr/local/docker/jenkins_docker/data/updates
wget https://mirrors.aliyun.com/jenkins/updates/update-center.json

• 如果使用docker-compose.yml文件跑起来的，这里可以修改docker-compose.yml文件后重新docker-compose up -d
  修改Jenkins容器的docker-compose.yml文件内容，追加数据卷（最后三行）

cd /usr/local/docker/jenkins_docker/
vim docker-compose.yml

version: "3.1"
services:
  jenkins:
    image: jenkins/jenkins
    container_name: jenkins
    ports:
      - 8080:8080
      - 50000:50000
    volumes:
      - ./data/:/var/jenkins_home/
      - /usr/bin/docker:/usr/bin/docker
      - /var/run/docker.sock:/var/run/docker.sock
      - /etc/docker/daemon.json:/etc/docker/daemon.json
       
#重新启动
docker-compose up -d

3. 进入Jenkins容器内部查看

docker exec -it jenkins bash
在容器内部执行docker命令测试

8.3.5 Jenkins构建自定义镜像推送到harbor仓库

目的：使用Jenkins制作自定义镜像并且推送到harbor仓库上，再让Jenkins通知目标服务去harbor仓库上拉取镜像。
制作自定义镜像只需要Dockerfile文件，不需要docker-compose.yml文件。
使用docker build 运行Dockerfile文件中的命令构建自定义镜像，然后推送到Harbor仓库，再让Jenkins通知目标服务去Harbor仓库上拉取镜像，运行。

• Jenkins需要通知目标服务器的信息：

1. 告知目标服务器拉取哪个镜像
2. 判断当前服务器是否正在运行容器，如果正在运行需要删除
3. 如果目标服务器已经存在当前镜像，需要删除
4. 让目标服务器拉取harbor上的镜像
5. 将拉取下来的镜像运行成容器

如果在Jenkins来执行这一系列判断条件，成本较高。所以在目标服务器上建一个脚本文件，让Jenkins通知目标服务器来执行这个脚本文件就可以了。

1. 修改gitla上的java内容，标记一下v3.0.0
   

2. gitlab上创建tag标签
   

3. 修改mytest任务配置
   ① 删除构建后操作：
   

② 在构建操作中，检测完代码后再追加一个步骤“执行shell”


此处默认的路径是/usr/local/docker/jenkins_docker/data/workspace/mytest。我的Dockerfile文件就在/usr/local/docker/jenkins_docker/data/workspace/mytest下，所以第二行指定 . 就可以了，表示当前目录

③由于Jenkins使用的是宿主机的docker，所以构建成功后可以在宿主机上查看images，发现多了一个v3.0.0版本的mytest

④ 现在通过docker build和Dockerfile文件在Jenkins内已经构建好镜像了，我们将Jenkins构建好的自定义镜像推送到harbor仓库，就需要在shell命令中追加登录、打包更名、推送的命令

执行报错：

mv: cannot move 'target/maven-archiver' to './maven-archiver': File exists 
Build step 'Execute shell' marked build as failure
Finished: FAILURE  

原因：上次构建在/usr/local/docker/jenkins_docker/data/workspace/mytest目录下已经产生了maven-archiver 文件，所以再次构建，就无法执行移动的操作。我们在构建前需要将 /usr/local/docker/jenkins_docker/data/workspace/mytest/maven-archiver 删掉
解决：报错说无法把target/maven-archiver’移动到 ‘./maven-archiver’，因为./maven-archiver已经存在了，所以需要把./下的maven-archiver文件删掉。先用find命令找出target/maven-archiver文件在哪，然后把它删掉，再次构建就能成功了。

⑤ 查看harbor仓库是否有新推送的v3.0.0版本的镜像

shell脚本内容：

# 构建自定义镜像到Jenkins容器内部
mv target/* ./     #  “./”  表示Dockerfile所在的路径；这步是把/usr/local/docker/jenkins_docker/data/workspace/mytest/target/下的内容都移动到/usr/local/docker/jenkins_docker/data/workspace/mytest/下，也就是Dockerfile所在路径
docker build -t mytest:$tag .     #注意“.”，一定要加dockerfile路径
# 将Jenkins构建好的自定义镜像推送到harbor仓库
docker login -u admin -p Harbor12345 192.168.2.211:80
docker tag mytest:$tag 192.168.2.211:80/repo/mytest:$tag
docker push 192.168.2.211:80/repo/mytest:$tag

8.3.6 目标服务器上编写部署脚本

• Jenkins需要通知目标服务器的信息，并在目标服务器执行相应命令：

1. 告知目标服务器拉取哪个镜像
2. 判断当前服务器是否正在运行容器，如果正在运行需要删除
3. 如果目标服务器已经存在当前镜像，需要删除
4. 让目标服务器拉取harbor上的镜像
5. 将拉取下来的镜像运行成容器

如果在Jenkins来执行这一系列判断条件，成本较高。所以可以在目标服务器上建一个脚本文件，让Jenkins把镜像信息和端口号情况告诉目标服务器，目标服务器接收到后再来执行这个脚本文件就可以了。

• Jenkins通知目标服务器信息
  ① 镜像信息：harbor地址/harbor仓库/镜像名:镜像版本
  ② 端口号占用情况

逻辑如图：
Jenkins将镜像构建完成、推送到harbor仓库后，需要将镜像信息以及端口号占用情况告知目标服务器，目标服务器接受到之后，执行脚本文件。

部署项目需要通过Publish Over SSH插件，让目标服务器执行命令。为了方便一次性实现拉取镜像和启动的命令，推荐采用脚本文件的方式。
添加脚本文件到目标服务器，再通过Publish Over SSH插件让目标服务器执行脚本即可。

1. 编写脚本文件，添加到目标服务器

harbor_addr=$1    # 表示执行命令中的第一个参数,harbor仓库地址   192.168.2.211:80
harbor_repo=$2    # 表示执行命令中的第二个参数,harbor仓库  repo
project=$3        # 表示执行命令中的第三个参数,镜像仓库名   mytest
version=$4        # 表示执行命令中的第四个参数,镜像版本/tag标签   v3.0.0
container_port=$5           # 表示执行命令中的第五个参数,容器内端口   端口号   8080
host_port=$6      # 表示执行命令中的第六个参数，宿主机端口   端口号 8082

imageName=$harbor_addr/$harbor_repo/$project:$version
echo $imageName

containerId=`docker ps -a | grep ${project} | awk '{print $1}'`  # 检查目标服务器是否存在正在运行的、与拉取镜像同名的容器，拿到这个容器对应的容器ID，后面需要删除
echo $containerId

if [ "$containerId" != "" ] ; then     #删除上一步查到的正在运行的容器，如果容器ID不为空，说明有正在运行的容器，则先停止，再删除
    docker stop $containerId
    docker rm $containerId
    echo "Delete Container Success"
fi


tag=`docker images | grep ${project} | awk '{print $2}'`    # 检查目标服务器是否存在同名的镜像，拿到这个镜像对应的容器tag版本，后面需要删除
echo $tag


if [[ "$tag" =~ "$version" ]] ; then     #如果上一步查到的镜像版本与要拉取的版本一致，则删除这个镜像
    docker rmi -f $imageName
    echo "Delete Image Success"
fi

docker login -u admin -p Harbor12345 $harbor_addr

docker pull $imageName

docker run -d -p $host_port:$containerport --name $project $imageName

echo "Start Container Success"
echo $project

2. 设置脚本文件deploy.sh权限为可执行

chmod a+x deploy.sh    #给所有用户给予deploy.sh文件可执行权限

3. 将deploy.sh文件移动到/usr/bin目录下，这样就可以在任何位置执行
   

4. 测试脚本文件

sh deploy.sh 192.168.2.211:80 repo mytest v3.0.0 8080 8082

8.3.7 配置构建后操作

到目前为止，目标服务器中的脚本文件已经编辑完成，下面就要让Jenkins通知目标服务器执行这个脚本文件。
我们要到Jenkins中配置构建后操作

增加container_port和host_port参数，这样就可以直接引用了（$container_port $host_port）

构建镜像：

去目标服务器中检查容器是否运行起来了（docker ps），然后用IP+端口号登录网页查看是否能访问即可