个人搭建docker-gitlab-ci-unbantu16.04持续集成环境的一次经历

1.docker操作

1.1:安装docker

1. apt 源使用 HTTPS 以确保软件下载过程中不被篡改。我们首先需要添加使用HTTPS 传输的软件包以及 CA 证书。
   sudo apt-get update
sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
2. 为了确认所下载软件包的合法性，需要添加软件源的 GPG 密钥。
   curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
3. 向 source.list 中添加 Docker 软件源
   sudo add-apt-repository "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
4. 更新 apt 软件包缓存，并安装 docker-ce
   sudo apt-get update
sudo apt-get install docker-ce
5. 启动 Docker CE
   sudo systemctl enable docker
sudo systemctl start docker
6. 建立 docker 组
   sudo groupadd docker
7. 将当前用户加入 docker 组
   sudo usermod -aG docker $USER
8. 退出当前终端并重新登录，进行如下测试
   docker run hello-world

如果能看到以上信息 则docker安装成功

1.2:配置国内镜像加速

1. 由于docker默认使用的是国外镜像，当pull镜像时很慢， 这里我们配置使用docker给国内提供的加速服务, 在 /etc/docker/daemon.json中写入以下内容（如果daemon.json文件不存在， 则新建一个, 新建记得使用root权限）
   
   以上内容一定要符合json规范, 不然docker会启动不了
2. 重新启动服务
   sudo systemctl daemon-reload
sudo systemctl restart docker
3. 验证镜像加速是否成功
   在命令行执行 docker info
   
   如果从结果中看到以上信息则配置成功

1.3:构建镜像

构建自己的镜像主要是打包我们项目需要的环境(依赖， 安装包等)。之后如果我们需要在不同的机器上运行项目, 我们只需要拿到这个镜像, 再把项目拷贝到镜像里面就可以了, 而不用再去关心项目所需要的环境依赖。

构建镜像这里我们使用Dockerfile来构建,(也有别的方法构建镜像， 自行百度)

1. 在项目根目录下新建一个空的文件夹名, 这里我们文件夹命名为"scripts"
   mkdir scripts
cd scripts
touch Dockerfile
2. 编写Dockerfile脚本

既然是构建自己的镜像， 我们就得先以一个镜像为基础， 在此基础上定制自己的镜像。选取基础镜像的标准是基于自己项目的需要(比如我们项目在web网页上， 这里我们就选取nginx为基础镜像)
Dockerfile脚本编写规则及命令详解参考这篇文章Dockerfile命令详解
这里我们编写的Dockerfile脚本内容为：
FROM nginx
RUN echo ‘

Hello, Docker!

’ > /usr/share/nginx/html/index.html
只有两行, 主要是在网页上输出一句话“Hello, Docker!”

3. 执行Dockerfile脚本构建镜像
   docker build . -t mynginx --rm --squash
   构建镜像名为 mynginx(可自己定义名字), 注意后面有一个 ‘.’ , 指定了当前目录(上下文context), 关于上下文context的概念可查阅此文章上下文context理解.
   docker build命令许多参数，选择不同的参数可以满足不同的构建需求，关于build参数可以参阅此文章docker build参数

输出以下内容则构建成功

此时通过命令 docker images 可以查看到我们已经构建成功的镜像 mynginx

1.4:删除镜像

删除所有镜像 docker rmi -f $(docker images -qa)

1.5:搭建私有仓库

为什么要搭建docker私有仓库，个人理解是为了方便团队协作。将docker镜像存放在仓库(其实就是一台服务器)这样团队别的人员需要镜像的时候直接从仓库pull下来就行了，方便快捷也便于管理镜像。
1.修改docker配置
执行docker run -d -p 5000:5000 --restart=always --name registry registry

执行sudo gedit /etc/default/docker修改DOCKER_OPTS为：

DOCKER_OPTS="–registry-mirror=https://registry.docker-cn.com --insecure-registry=ip:5000"
上面的ip为自己要搭建的仓库的ip地址,端口号为5000, 例如为127.0.0.1, 则 127.0.0.1就是你仓库的地址

2.将之前自己构建的镜像上传到私有仓库

1. 必须要先标记我们要上传的镜像
   docker tag mynginx ip:port/mynginx

上面命令中 mynginx为我们构建的镜像名， ip为仓库地址，port为端口号，格式必须是这种否则上传会失败

2. 输入docker images 查看标记镜像是否成功
3. 上传镜像
   docker push tag_image_name

上面tag_image_name为标记后image的名字

4. 查看镜像上传是否成功
   curl ip/v2/_catalog

如果你不想使用 127.0.0.1:5000 作为仓库地址，比如想让本网段的其他主机也能把镜像推送到私有仓库。你就得把例如 192.168.199.100:5000 这样的内网地址作为私有仓库地址，这时你会发现无法成功推送镜像。这是因为 Docker 默认不允许非 HTTPS 方式推送镜像。我们可以通过 Docker 的配置选项来取消这个限制
修改 /etc/docker/daemon.json文件的权限
sudo chmod -R 777 /etc/docker/daemon.json
终端命令行输入命令
echo '{ "insecure-registries":["192.168.16.212:5000"] }' > /etc/docker/daemon.json
重启服务
systemctl daemon-reload
systemctl restart docker

２.gitlab操作

2.1:注册docker-runner

1. Run the register command:

   docker run --rm -t -i -v /srv/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register
   
   

   Note: If you used a config volume other than /srv/gitlab-runner/config during install, then you should update the command with the correct volume.

2. Enter your GitLab instance URL:

   Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com )
   https://gitlab.com
   
   

3. Enter the token you obtained to register the Runner:

   Please enter the gitlab-ci token for this runner
   xxx
   
   

4. Enter a description for the Runner, you can change this later in GitLab’s UI:

   Please enter the gitlab-ci description for this runner
   [hostname] my-runner
   
   

5. Enter the tags associated with the Runner, you can change this later in GitLab’s UI:

   Please enter the gitlab-ci tags for this runner (comma separated):
   my-tag,another-tag
   
   

6. Enter the Runner executor:

   Please enter the executor: ssh, docker+machine, docker-ssh+machine, kubernetes, docker, parallels, virtualbox, docker-ssh, shell:
   docker
   
   

7. If you chose Docker as your executor, you’ll be asked for the default image to be used for projects that do not define one in .gitlab-ci.yml:

   Please enter the Docker image (eg. ruby:2.6):
   alpine:latest
   

注意!!!， 以上 2, 3步要输入gitlab-runner 的地址和 token .第7步输入我们之前定制的镜像名(输入基础镜像alpine:latest也可以.之后我们可以在.gitlab-ci.yam文件中指定每个job的的镜像)

2.2:修改runner配置文件

sudo gedit /srv/gitlab-runner/config/config.toml, 在[runner.docker]下添加pull_policy = “always”
注意:　“always”的意思是gitlab总是从私有仓库拉取镜像，也可以设置gitlab从别处拉取镜像，方法自行百度

2.3: .gitlab-ci.yml脚本的编写

在项目的根目录新建文件.gitlab-ci.yml
例子

2.4:验证结果

push代码
到gitlab服务器CI/CD 查看pipeline的运行情况是否启用了docker拉取了我们构建的镜像

3.遇到的一些问题

3.1:更新仓库中镜像

如果仓库中有一个镜像(127.0.0.1:5000/myimage)里面的一些包需要更新, 我们得执行以下操作
1.使用新的环境重新构建镜像docker build . -t myimage --rm --squash
2.给新构建的镜像打tagdocker tag myimage 127.0.0.1:5000/myimage
3.推送镜像到仓库docker push 127.0.0.1:5000/myimage
这三个命令可以写在一个脚本中一起执行

3.2:拷贝文件/文件夹进入docker容器

1.进入容器
2.scp -r -v 电脑名＠本机ip:file_path targe_path
其中file_path是要拷贝的文件/文件夹路径, targe_path是拷贝到容器里面的路径

3.3:拷贝容器里面文件到主机上

1.进入容器
2.scp -r -v file_path 电脑名＠本机ip:targe_path filename
其中file_path是要拷贝的文件, targe_path是主机路径, filename是拷贝后的文件名

3.4 修改镜像

docker commit -m “修改信息” -a “修改人” 镜像id 镜像
sudo docker commit -m “Added json gem” -a “Docker Newbee” 0b2616b0e5a8 ouruser/sinatra:v2