Gitlab_CI/CD详细过程

最新推荐文章于 2024-09-19 09:46:36 发布
最新推荐文章于 2024-09-19 09:46:36 发布
阅读量1.8k 收藏 2
点赞数 1
文章标签： ci docker linux
原文链接：https://dzone.com/articles/automate-spring-boot-app-deployment-with-gitlab-ci
版权

一、GitLabRunner服务器安装Docker和GitLabRunner环境

（一）、增加GitlabRunner用户以及Docker用户组

  1. 增加GitlabRunner用户
# 增加gitlab-runner用户
sudo useradd --comment 'GitLab Runner' --create-home gitlab-runner --shell /bin/bash
# 修改组目录权限
sudo chmod -R 766 /home/gitlab-runner
# 使用setfacl设置权限（可选）
sudo setfacl -m d:user:gitlab-runner:rwx
sudo setfacl -m group:other:rww
  1. 增加Docker用户组，并将gitlab-runner用户加入Docker用户组（实现不用sudo 启动docker）
sudo groupadd docker
sudo usermod -aG docker gitlab-runner

（二）、安装Docker依赖环境

sudo apt-get install \
    ca-certificates \
    curl \
    gnupg \
    lsb-release

（三）、使用阿里源安装Docker

  1. 需要添加软件源的 GPG 密钥
$ curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

# 官方源
# $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
  1. 修改sources.list 中添加 Docker 软件源
$ echo \
  "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
# 官方源
# $ echo \
#   "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
#   $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
  1. 安装Docker
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io
  1. 开启Docker
sudo systemctl enable docker
sudo systemctl start docker

（四）、设置Docker镜像源并重启Docker

  1. vi /etc/docker/daemon.json 增加镜像地址
{
  "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"],
  "insecure-registries": ["192.168.1.213:8086"],
  "live-restore": true
}
  1. 让配置生效并重启docker
systemctl daemon-reload
systemctl restart docker

（五）、安装GitLabRunner服务

  1. 下载GitLabRunner
sudo curl -L --output /usr/local/bin/gitlab-runner "https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64"
  1. 修改执行文件权限
sudo chmod +x /usr/local/bin/gitlab-runner
  1. 安装和运行GitLabRunner服务
sudo gitlab-runner install --user=gitlab-runner --working-directory=/home/gitlab-runner
sudo gitlab-runner start

二、GitLabRunner服务器注册Runner

  1. 使用GitLabRunner的命令在本服务器注册一个Runner
# url 为Gitlab的地址，token为Gitlab中可在具体的一个项目中的设置>>CI/CD>Runner中提示的值
sudo gitlab-runner register  --url http://192.168.1.26:9980 --registration-token cJMXGJWx7qx9AmpSc6ee

a. 项目中
在这里插入图片描述
在这里插入图片描述
a. 群组中的设置
在这里插入图片描述
在这里插入图片描述
具体的项目中注册的Runner默认会只对当前项目有效，如果要共享给其他项目，就需要进入GitLab界面编辑Runner，去掉“锁定当前项目”的勾选

2.选择执行器并配置相关信息

a. 运行了上面的 gitlab-runner register 命令后会提示选择使用那一种Runner执行器，这里我们选择Shell

Please enter the executor: ssh, docker+machine, docker-ssh+machine, kubernetes, docker, parallels, virtualbox, docker-ssh, shell:
docker

b. 然后会让输入执行器对应的Tag。这里的Tag的值是和.gitlab-ci.yml中的tags是对应的。也可以通过在GitLab的界面中修改Runner的Tag值。

三、配置免密登陆和Scp拷贝

配置GitLabRnner服务所在服务器与发布的目标服务器之间的免密登陆

（一）、生成公私钥

在GitLabRnner服务所在服务器通过以下命令切换到gitlab-runner用户，并进入/home/gitlab-runner目录，运行ssh-keygen命令生成公私钥

sudo su gitlab-runner
cd /home/gitlab-runner
ssh-keygen -t rsa -C "xxxx@163.com"

（二）、拷贝公钥到目标服务器

将上一步生成的公钥拷贝到目标服务器对应用户的主目录下的./ssh/authorized_keys文件中。有两种方式
第一种：自己在目标服务器通过vi 打开authorized_keys文件，把公钥拷贝到其中，并保存
第二种：通过下面的命令进行拷贝

ssh-copy-id -i ~/.ssh/id_rsa.pub userxxxxx@192.168.xx.xx

（三）、测试免密登陆和scp拷贝

通过以下命令测试免密登陆和scp免密拷贝，如果没有要求输入对应用户的密码，即为成功

ssh userxxxxx@192.168.xx.xx
scp -o StrictHostKeyChecking=no /home/gitlab-runner/xxxx/xxxx.jar userxxxxx@192.168.xx.xx

如果仍然需要输入密码，请尝试修改authorized_keys这个文件的权限为600,并重启sshd(sudo chmod ~/.ssh/authorized_keys 600 && /etc/init.d/sshd restart)

四、定义流水线文件.gitlab-ci.yml

如

# stage步骤,一个流水线需要经过的步骤
stages:
  - build
  - deploy

#job's name 可以随意取
buildJar:
  stage: build
  only:
   # 指定只对某个分支的代码触发
    - dev
  script:
#    package 已包含 test 步骤，所以流程中不需要另外配置test job
    - export curPath=$(pwd)
    - docker run -i --rm -v $curPath:/usr/src/projectxxxx -w /usr/src/projectxxxx maven:3.3-jdk-8 mvn clean package
  tags:
    - maven_tag
  artifacts:
    #是job生成的中间产物，会以压缩包（.zip）的形式生成。它会自动上传到gitlab服务器
    paths:
      - target/admin.jar
deploy files:
  stage: deploy
  only:
    - dev
  script:
    - scp -o StrictHostKeyChecking=no userxxxxx@192.168.xx.xx:/home/userxxxxx/target/admin.jar 
  tags:
    - maven_tag

其他示例

stages:
  - build jar
  - build and run image

#job's name 可以随意取
buildJar:
  stage: build jar
  variables:
    # 默认是clone，改为fetch加快拉取速度（若本地无则会自动clone）
    GIT_STRATEGY: fetch
  only:
    - dev
  script:
    - >
      docker run -d --rm --name justforpackage-$CI_COMMIT_REF_NAME
      -v "$(pwd)":/build/inkscreen
      -v /inkscreen/maven/m2:/root/.m2
      -w /build/inkscreen
      maven:3-jdk-8 mvn clean package

    - sleep 60
  tags:
    - inkscreen_hostrunner
  artifacts:
    paths:
      - louwen-admin/target/louwen-admin.jar
    expire_in: 3600 seconds

testDeploy:
  stage: build and run image
  only:
    - dev
  variables:
    # 不拉取代码
    GIT_STRATEGY: none
    IMAGE_NAME: louwen/inkscreen-api:$CI_COMMIT_REF_NAME
    PORT: 38082
  before_script:
    # 移除旧容器和镜像。这里为什么要写成一行，下面有讲
    - if [ docker ps | grep inkscreen-$CI_COMMIT_REF_NAME ]; then docker stop inkscreen-$CI_COMMIT_REF_NAME; docker rm inkscreen-$CI_COMMIT_REF_NAME; docker rmi $IMAGE_NAME; fi
  script:
    - docker build --build-arg JAR_PATH=louwen-admin/target/louwen-admin.jar -t $IMAGE_NAME .
    - >
      docker run -d --name inkscreen-$CI_COMMIT_REF_NAME
      -p $PORT:$PORT
      --network my_bridge --env spring.redis.host=myredis
      -v /inkscreen/inkscreen-api/logs/:/logs/
      -v /inkscreen/inkscreen-api/louwen-admin/src/main/resources/:/configs/
      $IMAGE_NAME
  tags:
    - inkscreen_hostrunner

.gitlab-ci.yml配置参数

关键词	描述
script	必选参数，指定runner运行的脚本（如 npm run build)
image	需要在docker中使用到的环境镜像（如 node:8.11.2)
services	需要的service镜像
before_script	作业执行前需要执行的命令
after_script	作业执行后需要执行的命令
stages	定义流水线所有的阶段
stage	定义作业所处流水线的阶段(默认test阶段)
only	限制作业在什么时候创建运行（比如是某个分支、某个tag等）
except	限制作业在什么时候不创建运行
tags	作用使用的Runner运行器的标签列表
allow_failure	允许作业失败，失败的作业不影响提交的状态
when	指定什么时候运行作业
environment	部署的环境
cache	指定需要在job之间缓存的文件或目录
artifacts	归档文件列表，指定成功后应附加到job的文件和目录的列表
dependencies	当前作业依赖的其他作业，你可以使用依赖作业的归档文件
coverage	作业的代码覆盖率
retry	作业失败时，可以自动尝试的次数
parallel	指定并行运行的作业实例
trigger	定义下游流水线的触发器
include	作业加载其他YAML文件
extends	控制实体从哪里继承
variables	定义环境变量

参考文章

官方中文文档
GitLab-CI/CD入门实操
GitLabCI的流水线实践
当谈到 GitLab CI 的时候，我们该聊些什么（上篇）
当谈到 GitLab CI 的时候，我们都该聊些什么（下篇）
Docker安装Gitlab和Gitlab-Runner并实现项目的CICD
Gialab YMAL 原文地址
Gitlab CI yaml官方配置文件翻译
gitlab-ci配置详解(一)
gitlab-ci配置详解(二)

Docker中国区官方镜像
https://registry.docker-cn.com

网易
http://hub-mirror.c.163.com

ustc 
https://docker.mirrors.ustc.edu.cn

中国科技大学
https://docker.mirrors.ustc.edu.cn

https://iccdq93l.mirror.aliyuncs.com
louisliao_1981
关注
GitLab CI/CD .gitlab-ci.yml 关键词解析系列
知无涯
04-01 3720
用过GitLab CI/CD的同学都知道，流水线的编写离不开GitLab CI/CD的关键词。所有业务逻辑的实现都离不开他们。比如要规定一个作业在develop分支下运行，就可以使用when关键词来是实现。如下 deploy: script: echo fizz when: - develop 有关这些关键词的重要性这里就不再累述，它们就像流水线的语法一样，没有它们，开发者什么都做不了。 在最新的GitLab CI/CD的官方文档中，一共有35个关键词，其中有31个作业关键词分别是 aft
Gitlab CI/CD 入门教程
aaon22357的博客
10-14 1118
需要注意以下几点：如果两个任务对应的stage名相同，则这两个任务会并行运行一个stage成功执行完了，才能执行下一个stage（如果失败了，下一个stage将不会执行，如果想要修改该特性，可以使用when关键字，见下文）如果想要控制某一个stage在最开始，或者最后执行，可以使用。
gitlabCI使用配置的详细过程（CI/CD）
mynameisghr的博客
02-29 1230
工作要求，实现每次git提交代码的时候进行单元测试以及将jar包部署到测试环境中。
gitlab 的CI/CD （一）
最新发布
weixin_50464533的博客
09-19 1389
本文主要介绍GitLab CI/CD的原理，gitlab-runner的安装、注册 及将制品上传至软件包库中，实现产品库的脚本的编写；
Gitlab CI/CD基础教程
bocai_xiaodaidai的博客
08-20 2879
一、编写CI/CD流程文件 仓库根目录下创建 .gitlab-ci.yml # 定义 stages（阶段）。任务将按此顺序执行。 stages: - pull-source-code - restart-service # 定义 job pull-source-code: stage: pull-source-code tags: - localhost # runner的tag名称 only: - master #只有master分支提交代
GitLab CI/CD 入门与简单实践
2301_77373203的博客
01-26 2404
黄色标注的地方即为源分支的流水线情况，我这里是已经成功完成流水线因而会出现绿色的勾代表流水线已经完成，若未完成流水线，则此处会出现一个检测流水线状态的圆圈，此时管理员需要点击 CI/CD 栏目，选择右上角的 Run Pipelines ，并选择此新提交的源分支触发其流水线进程，等待流水线完成之后才会出现 Merge 按钮。同时，GitLab 也提供了自托管的选择，你可以将 GitLab 部署在自己的服务器或云环境中，对保密性和隐私性有更高的要求的组织可以选择自行管理。
GitLab-CI/CD指南
陈戏猿
08-10 1944
由于公司没有运维，写go服务时各个环境编译部署还是略显麻烦，由于代码管理使用的是 gitlab，所以决定使用 gitlab 自带的 CI/CD 来做自动编译和部署，这样每次提交代码以后就可以自动部署到服务器上了。Executor的类型在注册 Runner 的时候确定，比较常用的是 Docker 和 SSH。GitLab，Runner 和 Executor 之间的关系如下图所示(图片来自GitLab官方文档)。
GitLab-CI/CD使用介绍
jarphy_lee的博客
10-19 865
做到持续集成功能,当Gitlab服务器上的项目有任何变化时，我们需要gitlab runner自动执行一系列命令，此时需要先安装gitlab runner在目标系统上，如以下为例自动在orangepi板子的ubantu系统上执行命令。
前端devops——利用gitlab实现CI/CD自动化部署
小敏哥的专栏
12-30 5780
Git是一个用于代码的存储和版本控制开源的分布式版本控制系统。GitLab 则是一个用于仓库管理系统的开源项目。本篇文章将讲解如何用gitlab搭建一个私有化的代码管理平台，并实现CI/CD自动化部署。由于条件限制，本篇的所有操作都在windows下执行，并使用docker进行操作。
基于Gitlab实现CI/CD实战
weixin_56942817的博客
03-29 1081
开发复杂的软件项目并运行它们是一项艰巨的任务，尤其是对于大型团队而言。尤其是当您认为开发中的项目需要不断构建、部署、测试和改进时。无论服务是在本地主机上还是在任何云计算平台上运行——从生命周期的早期开始，都需要尽可能多地自动化重复性任务——否则开销将太大。为了能够快速复制和设置您的项目，最佳实践是自动化服务部署，可能使用基础设施即代码（IaC) 用于在云中配置您的基础设施，例如 AWS。两者都必须跟踪代码中的更改，以及基础设施本身的更改，运行更新、检查、测试的过程以及使应用程序保持最新并运行最新的工作和发布
Gitlab CI/CD 配置
08-26 1635
首先说说什么是数据库结构，什么事版本控制。数据库结构是指数据库表结构，数据库定义语言导出的DDL语句。主要由CREATE TABLE, DROP TABLE等等构成。再来说说什么事版本控制，如果你从事开发工作应该会很容易理解，版本控制就是记录每一次变化，可以随时查看历史记录，并可回撤到指定版本。
Gitlab CI/CD：入门指南
Mr. David 专栏
01-16 657
可以手动创建.gitlab-ci.yml文件，然后编辑内容，也可以借助gitlab提供的模版文件，使用方式是：New File -> Select a template type选择.gitlab-ci.yml即可。先不管这里面做了什么，当我们配置了上述脚本后，GitLab-CI就自动为我们创建好了管线，但此时管线还是处理pending状态，想要GitLab-CI可以工作起来，我们还需要配置GitLab-Runner。YAML文件有两种后缀.yml和.yaml，都可以被解析。
Gitlab CICD进阶教程
bocai_xiaodaidai的博客
01-27 7035
基于我所在公司的代码管理和发布流程，分享一套CICD最佳实践。 我们的项目有三个分支： master：生产分支，生产环境使用的分支 uat：测试分支，测试环境使用的分支 dev：开发分支，人少的话开发人员可直接在此分支上开发，也可基于此分支创建各自的分支，功能开发完合并再到dev分支 我们的工作流： 假如当前版本是1.0.0，即将发布一个新版本1.0.1。 1、开发人员在deb分支上开发，开发完1.0.1的功能后上传各自代码。 2、由项目负责人确认大家都提交了最新代码，提交MR，将dev
GitLab CI/CD 基础教程（一）
热门推荐
冰河世纪20的博客
03-08 6万+
本文转自：https://blog.stdioa.com/2018/06/gitlab-cicd-fundmental/ 1.基本概念 1.1 CI/CD CI，Continuous Integration，为持续集成。即在代码构建过程中持续地进行代码的集成、构建、以及自动化测试等；有了 CI 工具，我们可以在代码提交的过程中通过单元测试等尽早地发现引入的错误； CD，Continuous Dep...
基于GitLab的CICD流程
chuxian5181的博客
07-11 1556
最近想把公司基于Jenkins的自动化构建修改到GitLab上，主要原因是在Jenkins上没有做权限控制，大家使用同一个账号，造成不同项目组的源码泄漏问题；另外还有一个使用Jenkins的独立服务器，感觉还是资源浪费了点。 配置GitLab的runner 从gitlab上获取Runner...
GitLab CI/CD系列教程（一）
哈哈
12-04 888
来自：GitLab CI/CD系列教程（一）：Docker安装GitLab_哔哩哔哩_bilibili1. 创建虚拟机并连接Xterm 创建一个4G内存的虚拟机，否则很容易启动不了，报502虚拟机的创建看这篇：VMware16的安装及VMware配置Linux虚拟机_爱吃咖喱鸡的博客-CSDN博客https://blog.csdn.net/m0_49879527/article/details/124405332虚拟机创建好了以后修改一下ssh.service的端口号为60022，因为Gitlab需要占用2
GitLab CI/CD教程（二）：GitLab CI/CD基础知识介绍
知无涯
02-16 1万+
要学习GitLab CI/CD 必须要了解以下几个内容 GitLab Runner GitLab 与GitLab Runner的关系 .gitlab-ci.yml 更多的细节就是 GitLab Runner 的安装 GitLab 与GitLab Runner的关系 GitLab Runner 的注册与配置 .gitlab-ci.yml的语法 流水线中阶段与任务 让我们一个一个来讲解 先说以下GitLab Runner GitLab Runner GitLab Runner(为了叙述方便，以下简称Ru
GitLab CI/CD 基础教程（二）
冰河世纪20的博客
03-08 5136
本文转自： https://blog.stdioa.com/2018/06/gitlab-cicd-deploy/ 1. GitLab Runner 的运行环境及执行环境选择 GitLab Runner 用 Go 语言写成，最后打包成单文件进行分发，所以可以在很多平台下快速运行，包括 Windows / GNU Linux / MacOS 等，同时也提供 Docker 镜像，方便在 Docker ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值