基于GitLab构建企业级CICD-Gitlab-Runner

已于 2023-12-21 16:36:59 修改
阅读量826 收藏 3
点赞数 1
分类专栏： k8s 通用 自动化测试 文章标签： gitlab docker kubernetes gitlab-runner
于 2022-12-27 18:17:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xzpdxz/article/details/128459008
版权
k8s 同时被 3 个专栏收录
17 篇文章 1 订阅
订阅专栏
通用
8 篇文章 0 订阅
订阅专栏
自动化测试
2 篇文章 0 订阅
订阅专栏

背景

  • 在过往企业开发中，大部分企业从开发到测试，到部署目前还是手工进行
  • 在一些某些中大型企业中，目前构建及部署还是直接使用二进制包部署，或直接单机运行
  • 在某些场合下，仓库中代码的编译需要硬件支持，致使本地无法编辑及运行
  • 在某些场合下，我们希望根据不同的用户需求部署到不同集群环境中，以实现资源的合理分配
  • 在某些时候，用户编译及部署是一项枯燥的工作，我们希望能实现开发工程师无感知的配置代码仓库中的配置文件即可

愿景

  • 简化开发上线流程
  • 提供基于细粒度的镜像版本构建，做到业务的滚动升级，无覆盖
  • 提供上线前自动化测试用户验证
  • 提供k8s集群化部署方案或轻量级集群部署(多集群管理，GPU集群，普通CPU集群)
  • 提供CICD流程化日志查询
  • 提供CICD简单化配置即可自动运行
  • 提供CICD消息通知(Webhook, 邮件通知)

目标

  • 简单配置
  • 自动触发CI
  • 自动测试
  • 自动构建镜像
  • 自动部署
  • 自动消息通知

组件介绍

Rancher

  • k8s集群管理工具，提供多集群管理工具，内置商店可以实现多场景应用部署

GitLab

  • 代码仓库，用户记录代码历史，jeckins将根据代码仓库的commit变化，进行Pipeline 流程

GitLab-Runner

  • 为Pipeline流水线提供运行Runner
  • 在实际环境中可以分类，例如Cpu-runner，Gpu-runner

Harbor

  • 镜像仓库，主要用户镜像存储

K8s

  • docker容器化编排技术，实现多节点管理与部署

k3s

  • 同上，但是以轻量方式，单进程服务跑完所有k8s依赖的组件，功能与k8s一样

环境准备

  • 本次测试以最小化部署来实现，简化流程，所以集群会有两个
  1. k3s部署的最小化单节点集群(可多节点)
  2. k8s部署的8节点集群
  • Gitlab自行构建
  • Harbor镜像仓库自行构建

获取Gitlab Runner注册令牌在这里插入图片描述

  • 获取图片中api地址，后面会用到
  • 获取图片中api另外，后面会用到

安装Gitlab-Runner

  • docker-compose 配置文件
version: "3"
services:
  runner:
    image: gitlab/gitlab-runner:latest
    container_name: gitlab-runner
    restart: always
    volumes:
      - /srv/gitlab-runner/config:/etc/gitlab-runner
      - /var/run/docker.sock:/var/run/docker.sock
      - /root/.kube/config:/root/.kube/config
      - /etc/docker/daemon.json:/etc/docker/daemon.json
      - /usr/bin/docker:/usr/bin/docker
  • 运行runner，并注册runner到Gitlab中
command=$1
#
url="http://git.xxxxx.cn/"
token="aaaaaaaaaaaaaaaaaaaa"
# 修改下面两项
tag="global-runner,ALP,ARD,CPU"
description="ARD-ALP-Normal-runner"

if [ "$command" = "register" ]; then
  echo "注册服务中..."
  docker run --rm -v /srv/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register \
    --non-interactive \
    --executor "docker" \
    --docker-image alpine:latest \
    --url $url \
    --registration-token $token \
    --description $description \
    --tag-list $tag \
    --run-untagged="true" \
    --locked="false" \
    --access-level="not_protected"
fi
  • 编辑挂载目录下的/srv/gitlab-runner/config/config.toml文件
concurrent = 1
check_interval = 0
shutdown_timeout = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "ARD-ALP-Normal-runner" # Runner名称
  url = "http://git.xxxxxx.cn/"  # Gitlab Api地址
  id = 2389 # runner id 由register生成
  token = "aaaaaaaaaaaaaaaaaa" # Gitlab Api令牌
  token_obtained_at = 2022-12-26T15:21:24Z
  token_expires_at = 0001-01-01T00:00:00Z
  executor = "docker" # 执行器docker
  [runners.custom_build_dir]
  [runners.cache]
    MaxUploadedArchiveSize = 0
    [runners.cache.s3]
    [runners.cache.gcs]
    [runners.cache.azure]
  [runners.docker]
    tls_verify = false # 是否进行ssl认证
    image = "docker:latest" # 默认使用的镜像
    privileged = false # 是否特权启动
    disable_entrypoint_overwrite = false
    oom_kill_disable = false 
    disable_cache = false # volumes 数据挂载，将宿主机docker配置信息，k8s配置信息一起挂载进去，保证执行CICD过程无需在仓库暴露认证信息
    volumes = ["/cache", "/var/run/docker.sock:/var/run/docker.sock","/usr/bin/docker:/usr/bin/docker","/root/.docker/config.json:/root/.docker/config.json","/root/.kube/config:/root/.kube/config"]
    shm_size = 0
  • 查看runner
    在这里插入图片描述

Demo

  • 在项目中构建如何下文件.gitlab.ci.yml

项目中请自行准备Dockerfile与k8s deployment.yaml

variables: # 定义全局可以使用的变量
  image_name: harbor.uat.xxxxxx.cc/library/enflame.cn/topsmodel-db

stages: # 定义三个阶段
  - Build
  - Test
  - Deploy

Image Build: # 构建阶段-镜像打包
  stage: Build
  script:
    - docker build -t $image_name:$CI_COMMIT_SHA . # 无需关心harbor，因为密钥已挂载到容器中,可以拉取

Image Push: # 构建阶段-推送仓库
  stage: Build
  script:
    - docker push $image_name:$CI_COMMIT_SHA  # 无需关心harbor，因为密钥已挂载到容器中，可以推送

Deploy K8s: # 构建阶段-k8s部署
  stage: Deploy
  image: roffe/kubectl # 使用kubectl镜像，因为附带了client工具，注意kube/config文件已挂载进容器
  when: manual # 表示手动执行
  script:
    - sed -i "s#{CICD_IMAGE}#$image_name:$CI_COMMIT_SHA#g" ./deployment.yaml # 全局修改配置文件,进行替换
    - echo ./deployment.yaml
    - kubectl apply -f deployment.yaml # 更新到集群中
  • 提交仓库并查询仓库变化
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Gitlab-CICD可以使用的系统环境变量

变量描述
CI指定作业在CI环境中完成。
CI_COMMIT_REF_NAME为项目构建定义分支或标记名称。
CI_COMMIT_REF_SLUG它使用小写的
CI_COMMIT_SHA指定构建项目的提交修订
CI_COMMIT_TAG它提交标签名称
CI_CONFIG_PATH指定CI配置文件的路径
CI_DEBUG_TRACE它启用调试跟踪。
CI_ENVIRONMENT_NAME定义作业的环境名称。
CI_ENVIRONMENT_SLUG它是一个环境名称，适用于DNS，URL，Kubernetes标签等。
CI_ENVIRONMENT_URL定义作业的环境URL。
CI_JOB_ID表示GitLab
CI_JOB_MANUAL它指定作业已经手动启动。
CI_JOB_NAME作业名称在
CI_JOB_STAGEstage名称在
CI_JOB_TOKEN该标记用于在涉及触发器时用GitLab
CI_REPOSITORY_URL它指定了克隆Git存储库的URL
CI_RUNNER_DESCRIPTION它指定runner的描述。
CI_RUNNER_ID它为正在使用的runner提供了唯一的身份证。
CI_RUNNER_TAGS它定义了
CI_RUNNER_VERSION它指定当前作业的GitLab
CI_RUNNER_REVISION它指定了当前作业的GitLab修订版本。
CI_PIPELINE_ID它提供了当前管道的唯一ID。
CI_PIPELINE_SOURCE它通过使用push，web，trigger，schedule，api，pipeline等选项来指定流水线的触发方式。
CI_PIPELINE_TRIGGERED它指定作业已被触发。
CI_PIPELINE_SOURCE它指定了诸如push，web，trigger，schedule，api，external之类的管道源。
CI_PROJECT_DIR它定义了克隆存储库的完整路径，作业运行的地方。
CI_PROJECT_ID它提供了当前项目的唯一ID。
CI_PROJECT_NAME它提供当前项目的名称。
CI_PROJECT_PATH它提供了项目名称以及命名空间。
CI_PROJECT_URL它提供了http地址来检索项目。
CI_PROJECT_VISIBILITY它规定了项目的可见性，无论是内部的，私人的还是公共的。
CI_REGISTRY0
CI_REGISTRY_IMAGE它只有在启用容器注册表的情况下才返回与特定项目绑定的GitLab
CI_REGISTRY_PASSWORD密码可用于将容器推送到GitLab容器注册表。
CI_REGISTRY_USER用户名可以用来将容器推送到GitLab容器注册表。
CI_SERVER它指定作业在CI环境中执行。
CI_SERVER_NAME它提供CI服务器名称来协调作业。
CI_SERVER_REVISION它用于通过使用GitLab修订来安排作业。
CI_SERVER_VERSION它用于通过使用GitLab版本来安排作业。
CI_SHARED_ENVIRONMENT它表明作业在共享环境中执行，并且如果环境共享，则它被设置为true。
ARTIFACT_DOWNLOAD_ATTEMPTS它指定尝试下载运行作业的工件的次数。
GET_SOURCES_ATTEMPTS它指定了获取源运行作业的尝试次数。
GITLAB_CIall
GITLAB_USER_ID它指定正在运行作业的GitLab用户的ID。
GITLAB_USER_EMAIL它指定正在运行作业的GitLab用户的电子邮件。
GITLAB_USER_LOGIN它指定正在运行作业的GitLab用户的登录用户名。
GITLAB_USER_NAME它指定了正在运行作业的GitLab用户的真实姓名。
GITLAB_FEATURES它提供了GitLab实例和计划的许可功能列表。
RESTORE_CACHE_ATTEMPTS它定义了恢复执行作业的缓存尝试次数。
CI_DISPOSABLE_ENVIRONMENT它表明工作是在一次性环境中执行的，如果环境是一次性的，则它被设置为true。
Mr.Lee jack
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
gitlab-ci-python-library
04-07
gcip-Gitlab CI Python库 用于为Gitlab CI创建动态管道的Python库。 | 借助gcip以及Python的便捷性和强大功能，您可以使用易于管理的Python代码编写各种复杂性的Gitlab CI管道。 一个简单的启动管道可能如下所示： from gcip import Pipeline, Job pipeline = Pipeline() pipeline.add_children(Job(namespace="build", script="docker build .")) pipeline.write_yaml() 这是如何使用Python处理复杂管道的前景： from gcip import Pipeline, JobSequence, Job from gcip.addons.gitlab import job_scripts as gitl
gitlab-cicd(devops)搭建测试案例.docx
03-11
本文搭建了gitlab-cicd(devops)环境，在IDEA开发环境中编写代码后，git push到代码gitlab仓库后，根据.gitlab-ci.yml文件，自动触发流水线
gitlab-monorepo-scripts:用于生成CICD配置的GitLab Monorepo脚本
05-19
GitLab Monorepo脚本 将为monorepo项目生成GitLab CI配置的脚本。 受到 特征 生成每包CI作业 仅对更改的软件包执行作业 使用Docker进行容器化 将Node.js应用程序部署到Heroku 将静态部署到Firebase托管 这些功能可以通过yarn workspaces ，shell脚本并遵循一些分支命名规则来存档。 要求 为了执行脚本，CI应该与带有以下已安装工具的映像一起运行： 重击 卷曲 吉特 q Node.js 纱 默认情况下，将使用基于Alpine Linux的合适映像。 对于container作业，将使用基于docker的映像。 安装 git clone [email protected]:Noviel/gitlab-monorepo-scripts.git < project> cd < project> yar
项目管理 之六 详解 Gitlab 本地部署全过程、Gitlab Pages、企业版 PATCH
技术干货
10-01 4758
Gitlab 官方推荐用户安装企业版，因为在不购买许可证时，安装的 Gitlab-ee 就是运行为 Gitlab-ce 版本（付费功能自动隐藏）
在CentOS 7 1804 中 安装 使用 GitLab 11.4.3-ee （企业版、社区版最新版、或任意版本）
11-01 6365
参考文章： https://about.gitlab.com/install/#centos-7 https://docs.gitlab.com/omnibus/settings/smtp.html 安装要求： 参见：https://docs.gitlab.com/ee/install/requirements.html 支持的Unix发行版 Ubuntu的 Debian的 Cen...
基于GitLab搭建DevSecOps流水线
武天旭的博客
05-20 1383
GitLab是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建Web服务，可通过Web界面访问公开的或者私人的项目。它拥有与GitHub类似的功能，能够浏览源代码，管理缺陷和注释，也可以自定义流水线（pipeline），在流水线中配置CI/CD以及集成软件质量测试和安全测试工具。安装环境：CentOS安装要求：内存大于2GB登录GitLab，用户名是root，初始密码保存在/etc/gitlab/initial_root_password文件中。
GitLab企业版和社区版的功能对比
热门推荐
Just do it！
09-12 2万+
http://www.shcsinfo.com/china/git_features.html#compare GITLAB社区版 功能丰富: 包括Git仓库管理、代码审查、问题跟踪、动态订阅、wiki等功能.以及GitLab内部集成的GitLab CI更是一个持续集成和交付的好工具。 免费开源: MIT licensed。 聚集着700+贡献者的开源社区来修改、检查GitLab的源码，G...
基于 GitLab+SonarQube 搭建自动化代码检测平台
magicpenta的博客
06-21 1万+
一、背景介绍 目前，成熟的代码检测工具有很多，如 SpotBugs（前身为 FindBugs）、PMD、Checkstyle 等，我们可以在本地开发环境，非常便捷地利用这些工具实现代码的扫描与检测。这看上去好像很不错，但实际上，采用这种代码检测方式，我们面临着两个问题： 代码提交前需要手动运行检测工具 检测结果仅对自己可见 那么，有没有什么方案可以规避这些问题呢？答案当然是有的。 我们可以基于 GitLab 和 SonarQube 搭建自动化代码检测平台，并通过该平台实现以下功能： 每次提交
gitlab设置126邮箱smtp
Boynton的博客
10-18 2039
gitlab_rails['smtp_enable'] = true gitlab_rails['smtp_tls'] = true gitlab_rails['smtp_address'] = "smtp.126.com" gitlab_rails['smtp_port'] = 465 gitlab_rails['smtp_user_name'] = "EmailName" gitla
Git系列（6-收尾） ----Centos7 安装 Gitlab
yunzhonghefei的博客
12-05 248
1.环境设置 sudo yum install -y curl policycoreutils-python openssh-server sudo systemctl enable sshd sudo systemctl start sshd sudo firewall-cmd --permanent --add-service=http sudo firewall-cmd --perm...
gitlab安装包gitlab-ee_11.0.3-ee.0_amd64.deb
07-14
linux系统下Gitlab企业版安装包 gitlab-ee_11.0.3-ee.0_amd64.deb
docker-gitlab-cicd-master.zip
08-26
1、springboot项目通过docker命令实现打包生成镜像 2、通过docker插件实现打包镜像并上传nexus私服 3、通过定义gitlab-ci.yml实现提交代码自动打包镜像部署
docker-gitlab-cicd
07-23
docker中安装gitlab，gitlab-runner实现自动对springboot项目编译，打包，上传镜像，启动服务等操作
GitLab企业级代码管理仓库
weixin_30411239的博客
01-22 1244
GitLab企业级代码管理仓库 四，GitLab服务器 前面我们已经知道Git人人都是中心，那他们怎么交互数据呢？ 使用GitHub或者码云等公共代码仓库 使用GitLab私有仓库 4.1 GitLab是什么？ 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。基础功能免费，高级功能收费。 4.2 为什么要使用GitLab？ 基...
GitLab服务器搭建（Win10系统企业版，在Docker上部署GitLab的搭建）
MonoBehaviour的博客
12-06 9676
        首先就是对Docker进行安装，其次通过Docker安装GitLab，然后安装Git，最后安装TortoiseGit。安装完以上工具之后，对他们进行配置就可以使用了。下面就介绍一下它们安装的详细步骤以及安装的过程中需要注意的事项。 《一》，Docker的安装         不同的操作系统下对Docker的安装要求是不一样的，我这里是Win10的企业版，所以不需要安装Docke...
极狐GitLab 企业级 CI/CD 规模化落地实践指南（一）
GitLab 中国发行版
08-15 1600
高效构建 CI/CD，提升研发效能。
DevOps系列之GitLab-01CI/CD简介
lee_yanyi的博客
03-09 530
特点： 开源： CI/CD是开源GitLab社区版和专有GitLab企业版的一部分。国内叫极狐 易于学习： 官方具有详细的学习操作文档。 无缝集成： CI/CD是GitLab的一部分，支持从计划到部署，具有出色的用户体验。 可扩展： 可以根据需要添加任意数量的构建节点。 更快的结果： 每个构建可以拆分为多个作业，这些作业可以在多台计算机上并行运行。 针对交付进行了优化： 多个阶段，手动部署，环境和变量。 相比于jenkins，gitlab具有更加完善的cicd功能。 ...
GItLab入门级CI/CD环境搭建（适用于小微企业或个人）
Baldwin_KeepMind
04-05 1192
相关 什么是CI/CD CI - Continuous Integrarion - 持续集成 现代应用开发的目的是能够让多个开发人员在同时进行同一应用的不同功能。但是这样需要企业在某一天将不同开发人员的代码合入到主分支上去，我们称这一天为“合并日”，可以想象到的是在合并日当天的工作将非常的繁琐、耗时，而且会出现大量的冲突代码，这对开发人员、管理人员来说都是灾难性的，这时候我们就需要一个基于云的IDE来使各位开发人员在代码进度上达成一致。 持续集成（CI）可以帮助代码管理员更好地管理代码分支，并且管理员rev
修改GitLab 的IP地址，解决创建项目和克隆项目时IP地址不一致的问题
最新发布
点点滴滴
04-26 191
这导致了 创建新项目时 IP 显示是B ，克隆时IP 依旧是 A， GitLab 没有自动识别出来。GitLab 安装时，使用的是 IP 为 A， 后来修改了此服务上的IP为B，重启 gitlab （必须重启），1）登陆搭建gitlab的服务器。
gitlab cicd gitlab-runner
09-10
GitLab CI/CD是一个持续集成和持续交付的解决方案，而GitLab Runner是用于执行CI/CD作业的工具。根据引用和引用的内容，以下是安装和配置GitLab Runner的步骤: 1. 首先，您需要安装GitLab Runner。您可以使用以下命令下载并安装最新版本的GitLab Runner： ``` curl -s https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh | sudo bash sudo yum install -y gitlab-runner ``` 如果您想要安装特定版本的GitLab Runner，您可以使用以下命令： ``` sudo yum install -y gitlab-runner-15.2.1-1.x86_64 ``` 2. 安装完成后，您需要修改GitLab Runner的配置文件。根据引用中的内容，您可以使用以下命令编辑配置文件： ``` sudo vim /etc/systemd/system/gitlab-runner.service ``` 在配置文件中，您可以设置GitLab Runner的工作目录、配置文件路径等。 3. 修改完配置文件后，您需要将GitLab Runner运行的账号修改为root。您可以使用以下命令编辑配置文件： ``` sudo vim /etc/sysconfig/gitlab-runner ``` 将"--user"的值修改为"root"。 通过以上步骤，您就可以成功安装和配置GitLab Runner，用于执行GitLab CI/CD作业。<span class="em">1</span><span class="em">2</span><span class="em">3</span>

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值