DevOps（二）

已于 2023-07-11 17:43:59 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： # devops 文章标签： 运维
于 2023-07-11 17:43:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010230019/article/details/131437809
版权
本文详细介绍了使用Jenkins实现持续集成和持续交付的过程，从平台选择、技术选型到阶段性目标设定，包括自动化构建、静态代码扫描、自动发布等环节，并提供了手动和自动化的示例，涉及到的工具如SonarQube、Docker、Harbor和GitLab等。最后，文章讨论了Pipeline流水线的改造，以提升自动化程度。
摘要由CSDN通过智能技术生成

CD

在这里插入图片描述

1. 平台选择

目前支持CI/CD的平台有：

  • gitlab-ci：git官方的持续集成工具，在Git工程管理页面上，也有专门的CI配置和展示页；
  • Travis CI：只支持 Github，并且绑定了Github上的项目，不支持其他代码托管服务；
  • TeamCity：由JetBrains创建的基于Java的CI / CD工具；
  • Jenkins：开源的、提供友好操作界面的持续集成(CI)工具，主要用于持续、自动的构建/测试软件项目、监控外部任务的运行。可在Tomcat等流行的servlet容器 中运行，也可独立运行。通常与版本管理工具(SCM)、构建工具结合使用。常用的版本控制工具有SVN、GIT，构建工具有Maven、Ant、Gradle。

虽然Jenkins只是支持持续集成的众多工具之一，Jenkins ≠ 持续集成，但目前只要一提到Jenkins，人们就会联想到持续集成、CI&CD，可见其使用范围之广，用户之多。同时资料也最为丰富、社区最活跃，所以选择Jenkins也没有什么好犹豫的。

2. 技术选型

工具说明
Jenkins基础平台
Sonar&Sonarqube静态代码扫描
Python3+Allure+Pytest+Requests(接口)+Selenium(web)+UiAutomator2(APP)自动化测试环境
docker容器引擎
Harbor/dockerhub官方的docker镜像注册服务器（可以在本地搭建Harbor代替）
Kubernetes容器编排管理工具，用于部署应用程序
Gitlab/Github源代码仓库（可以在本地搭建gitlab代替）
NodeJS前端构建环境
Java+Maven后端构建环境

3. 阶段性目标

CI 阶段目标

  • 阶段目标一：自动化构建
    先解决“人工拉取代码-执行编译-通知团队”这个原本手动执行效率低下的问题，最终效果：研发提交代码–>触发webhook–>Jenkins自动拉取代码–>编译打包–>通过插件实时企微群通知，后续的发布替换还是由手动完成，一定程度上达到了节约时间，降本增效的目的。

    工具:jenkins、gitlab、gerrit

  • 阶段目标二：静态代码扫描
    在CI阶段，自动化拉取代码、自动编译只是过程，不是目的，重要的是要能够实现快速检验、快速反馈。这其中很重要的一个手段就是单元测试。但就目前团队现状而言，单元测试不现实。

    工具:sonar/sonarqube

    我们采取的是接入自动化静态代码扫描来替代单元测试，最终效果：研发提交代码–>触发webhook–>Jenkins自动拉取代码–>静态代码扫描–>编译打包，实现最基本的静态代码扫描，代码覆盖率检测，避免出现低级语法规范和一些安全隐患。

  • 阶段目标三：自动发布
    解决手动替换发包的问题：自动编译打包后，通过shell脚本自动将发布包发布到开发、测试等各个环境。

    工具：docker、shell、python、harbor

CD 阶段目标

  • 阶段目标四：自动化冒烟测试
    应当说持续交付这个阶段最考验的就是交付产物交付到各个环境以后的自动化测试能力，需要具备完善的自动化测试手段，以此来保障快速反馈，否则很难体现CD的效果。除了前面提到的单元测试、静态代码扫描，还包括如：组件集成测试、接口测试、UI测试、性能测试、安全测试等等。

    工具：Allure、Pytest

    在阶段目标四中，我们主要实现两个类型的自动化测试：

      接口测试：校验各个接口是否连通，接口业务场景是否能够正常串联执行；
  UI测试：校验系统是否能够正常登录，一些基本的冒烟测试用例是否正常执行；

  • 阶段目标五：Pipeline流水线改造
    将以上流程全部通过自动化手段实现以后，再利用Pipeline流水线语法进行改造，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程。

    工具：jenkins-pipeline

4. 搭建示例

本节搭建的目标是：

  • 在本地提交python代码，jenkins自动触发拉取，编译（由于是python代码，所以只是执行供演示）
  • 自动触发sonarqube检测代码
  • 自动触发docker制作镜像推送到harbor
  • 在指定节点运行服务
    在这里插入图片描述

服务器规划

服务器IP用途
node-252192.168.71.252jenkins agent，sonarqube，docker
node-253192.168.71.253jenkins master，harbor
node-249192.168.70.249jenkins agent，gitlab

4.1 环境准备(节点机)

1. java版本升级

由于笔者jenkins安装的版本较高(Jenkins 2.401.2)，所以要求java版本至少是11或以上的，笔者这里重新装java

注意：这里不光是安装jenkins的服务器需要较高版本的java，节点机也需要较高版本，否则无法连接节点

参考 CHAPTER 1 Jenkins部署与基础配置 1.1.2 红帽系安装

2. 编译安装git

参考 gitlab/gerrit 2.1 环境准备

3. docker安装

参考 CHAPTER 1 Docker入门 1.3.1 yum安装

4. docker-compose安装

参考 CHAPTER 12 Compose（一）12.2.2 二进制包

5. sonarqube安装

参考 CHAPTER 5 Jenkins & SonarQube
账号：admin
密码：yurq

6. harbor安装

参考 harbor（docker仓库）仓库部署

6bDg3XQ81Y3NDWJhtIVacMDyqeNzj3oO

7. gitlab私服

参考 CHAPTER 3 Jenkins SVN GItlab 3.2.1 搭建gitlab服务器（使用官方镜像搭建）

4.2 示例一（手动）

步骤简述：

  • 在gitlab创建项目
  • 编写代码、python插件（用于flask）和Dockerfile上传至gitlab
  • jenkins拉取代码及相关文件
  • 检查代码
  • 打包代码机相关文件到docker镜像，上传到harbor
  • 下载并运行镜像
  • 测试服务
1. 创建项目

在gitlab创建项目
在这里插入图片描述

2. 编码
[root@node-252 mypython]# cat mypython.py
#!/usr/bin/env python
from flask import  Flask
app=Flask(__name__)

@app.route('/')
def index():
    return 'welcome to my webpage!'

if __name__=="__main__":
    app.run(port=8080,host="0.0.0.0",debug=True)
3. Dockerfile
[root@node-252 mypython]# cat Dockerfile
FROM lmurawsk/python2.7:latest
LABEL maintainer="mrhelloworld.com"

WORKDIR /usr/local
RUN mkdir -p /plugins
COPY package/*.whl /plugins/

RUN pip install /plugins/click-3.0-py2.py3-none-any.whl
RUN pip install /plugins/itsdangerous-1.1.0-py2.py3-none-any.whl
RUN pip install /plugins/MarkupSafe-1.1.0-cp27-cp27mu-manylinux1_x86_64.whl
RUN pip install /plugins/Werkzeug-0.16.0-py2.py3-none-any.whl
RUN pip install /plugins/Jinja2-2.11.0-py2.py3-none-any.whl
RUN pip install /plugins/Flask-0.12.5-py2.py3-none-any.whl

COPY ./mypython.py /usr/local/

EXPOSE 8080


CMD python /usr/local/mypython.py
4. 拷贝python插件文件

由于我们要使用python flask的web功能，但是镜像中没有相关插件，所以需要把插件打包到镜像中

[root@node-252 mypython]# cp ../mypython_bak/*.whl .
[root@node-252 mypython]# ll
total 648
-rw-r--r-- 1 root root     11 Jul 10 05:43 blog.txt
-rw-r--r-- 1 root root  57939 Jul 10 20:34 click-3.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root   1104 Jul 10 20:32 Dockerfile
-rw-r--r-- 1 root root  81748 Jul 10 20:34 Flask-0.12.5-py2.py3-none-any.whl
-rw-r--r-- 1 root root  16743 Jul 10 20:34 itsdangerous-1.1.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root 126742 Jul 10 20:34 Jinja2-2.11.0-py2.py3-none-any.whl
-rw-r--r-- 1 root root  24542 Jul 10 20:34 MarkupSafe-1.1.0-cp27-cp27mu-manylinux1_x86_64.whl
-rw-r--r-- 1 root root    208 Jul 10 05:43 mypython.py
-rw-r--r-- 1 root root   6161 Jul 10 05:43 README.md
-rw-r--r-- 1 root root 327277 Jul 10 20:34 Werkzeug-0.16.0-py2.py3-none-any.whl

后续可以制作python2.7+flask相关插件的镜像

5. 上传gitlab

上传代码

[root@node-252 mypython]# cat ~/.gitconfig
[user]
name = yurq
email = yurq@qq.com
[credential]
        helper = store
[http]
sslVerify = false
[root@node-252 MyPython]# git commit mypython.py
[detached HEAD 6182db3] flask
 1 file changed, 8 insertions(+), 2 deletions(-)
[root@node-252 mypython]# git push
Enumerating objects: 5, done.
Counting objects: 100% (5/5), done.
Delta compression using up to 2 threads
Compressing objects: 100% (3/3), done.
Writing objects: 100% (3/3), 396 bytes | 396.00 KiB/s, done.
Total 3 (delta 1), reused 0 (delta 0), pack-reused 0
To http://192.168.70.249:9980/devs/mypython.git
   f3047fb..0249dc8  main -> main

上传dockerfile

[root@node-252 mypython]# git add Dockerfile
[root@node-252 mypython]# git commit Dockerfile
[main 059968e] add dockerfile
 1 file changed, 25 insertions(+)
 create mode 100644 Dockerfile
[root@node-252 mypython]# git push
Enumerating objects: 4, done.
Counting objects: 100% (4/4), done.
Delta compression using up to 2 threads
Compressing objects: 100% (3/3), done.
Writing objects: 100% (3/3), 657 bytes | 657.00 KiB/s, done.
Total 3 (delta 0), reused 0 (delta 0), pack-reused 0
To http://192.168.70.249:9980/devs/mypython.git
   0249dc8..059968e  main -> main
6. jenkins拉取代码

创建jenkins项目，配置节点和下载相关插件
在这里插入图片描述
配置sonar
在这里插入图片描述
由于网络原因，docker-build-step插件一直下载不了，所以手动写了构建/推送命令
在这里插入图片描述

7. 查看代码检查结果

在这里插入图片描述

8. 查看harbor镜像

在这里插入图片描述

9. 模拟发布

由于网络原因，有些插件下载不了，所以笔者又创建了一个jenkins项目并在其他节点运行，以模拟生产场景
在这里插入图片描述
在这里插入图片描述

10. 示例演示

在这里插入图片描述
该示例中有很多步骤都是手动运行的，其原因是很多jenkins插件由于网络原因无法下载，在下例中将逐步改进

4.3 示例二（自动）

说明：在该示例中，我们将在示例一的基础上实现更多功能，包括：

  • 代码提交后，自动触发jenkins任务
  • jenkins任务整合，通过multi job顺序执行
  • docker镜像通过插件打tag，上传到harbor及在指定节点执行（而非通过命令行）
  • 更新base镜像，把python插件打包进镜像中，不在执行任务期间安装插件

本节中，我们需要安装的jenkins的插件有：

  • docker-build-step
  • CloudBees Docker Build and Publish
  • multi job
  • gitlab
1. 创建multi job
  • 记录下gitlab钩子的URL
  • 编排任务序列，让任务顺序执行
    在这里插入图片描述
    在这里插入图片描述
2. 配置gitlab webhook
  • 配置webhook，选择事件类型，当有事件发生时才能自动触发jenkins执行任务
    在这里插入图片描述
    注意：

    如果添加webhook提示Url is blocked: Requests to the local network are not allowed的问题，在gitlab->menu->admin area->Setting->network->Outbound requests
    勾选：Allow requests to the local network from web hooks and services即可解决

3. 更新base镜像
  • 我们把python插件打包进基础镜像中，后续使用新的镜像进行打包
  • 在harbor建好仓库python2.7
[root@node-252 mypython]# cat dockerfile2
FROM lmurawsk/python2.7:latest
LABEL maintainer="mrhelloworld.com"

WORKDIR /usr/local
RUN mkdir -p /plugins
COPY package/*.whl /plugins/

RUN pip install /plugins/click-3.0-py2.py3-none-any.whl
RUN pip install /plugins/itsdangerous-1.1.0-py2.py3-none-any.whl
RUN pip install /plugins/MarkupSafe-1.1.0-cp27-cp27mu-manylinux1_x86_64.whl
RUN pip install /plugins/Werkzeug-0.16.0-py2.py3-none-any.whl
RUN pip install /plugins/Jinja2-2.11.0-py2.py3-none-any.whl
RUN pip install /plugins/Flask-0.12.5-py2.py3-none-any.whl

[root@node-252 mypython]# docker build -f dockerfile2 -t yurq/python2.7:latest .
[root@node-252 mypython]# docker tag yurq/python2.7:latest 192.168.71.253:80/python2.7/yurq_python2.7:latest
[root@node-252 mypython]# docker push 192.168.71.253:80/python2.7/yurq_python2.7:latest
4. jenkins任务修改
  • 子任务MyPython 修改
    插件excute docker command不太好用，直接用命令行替代
    Docker build and publish可以使用
    在这里插入图片描述
    在这里插入图片描述
  • 子任务 Mypython2 修改
    添加了判断，如果容器已经启动，则停止/删除，启动新的容器

在这里插入图片描述

5. 示例演示
  • 修改代码
[root@node-252 mypython]# cat mypython.py
#!/usr/bin/env python
from flask import  Flask
app=Flask(__name__)

@app.route('/')
def index():
    return 'welcome to my webpage! power by python!'

if __name__=="__main__":
    app.run(port=8080,host="0.0.0.0",debug=True)

[root@node-252 mypython]# git commit -m "add power by" mypython.py
[main 9f4af70] add power by
 1 file changed, 1 insertion(+), 1 deletion(-)
[root@node-252 mypython]# git push
Enumerating objects: 5, done.
Counting objects: 100% (5/5), done.
Delta compression using up to 2 threads
Compressing objects: 100% (3/3), done.
Writing objects: 100% (3/3), 293 bytes | 293.00 KiB/s, done.
Total 3 (delta 2), reused 0 (delta 0), pack-reused 0
To http://192.168.70.249:9980/devs/mypython.git
   de86dd3..9f4af70  main -> main
  • 可以看到本次由gitlab启动
    在这里插入图片描述
  • 访问网址
    在这里插入图片描述

5. 小结

  • 本次初步搭建的CD简易流程，还缺少测试环节，笔者这边安装allure出现了状况，后续改善之后再进行完善
  • devops更多的用在微服务的发布流程中，后续笔者会推出java开发的程序+k8s部署服务的更完整的流程
  • 后续可能还会在除jenkins之外的平台进行尝试
kubernetes集群监控 Kube-Prometheus-Stack
叶青
05-08 2436
该项目开箱即用的功能，对k8s的监控指标是比较全面的，对于k8s的主要组件的运行状态如Node、Kubelet、Pod、Deployment、StatefulSet、CoreDNS、PV等资源进行了指标采集和监控，项目采用的是prometheus，并且有许多CRD资源，可以很方便通过编写yaml配置文件，来进行监控能力的扩充和告警阈值的设置。
DevOps实战二之Jenkins入门
zhengchao1129的博客
12-05 907
CI/CD快速的持续集成以及持续交付，可以降低人工成本以及错误率，DevOps成熟的方案可以降本增效，学习DevOps增强自己的竞争力。
一分钟告诉你究竟DevOps是什么鬼？
Dou_Hua_Hua的博客
09-23 528
一分钟告诉你究竟DevOps是什么鬼？ 历史回顾 为了能够更好的理解什么是DevOps，我们很有必要对当时还只有程序员(此前还没有派生出开发者，前台工程师，后台工程师之类)这个称号存在的历史进行一下回顾。 如编程之道中所言： 老一辈的程序员是神秘且深奥的。我们没法揣摩他们的想法，我们所能做的只是描述一下他们的表象。 清醒的像一只游过水面的狐狸 警惕的像一位战场上的将军 友善的像一位招待客人的女主人 单纯的像一块未经雕琢的木头 深邃的像一潭幽深洞穴中漆黑的池水 程序员开发了机器语言，机器语言又产生了汇编语言
【DEVOPS】zentao二次扩展开发实践 - ERP任务报工同步
夫礼者的专栏
05-01 828
借助zentao提供的二次开发，实现在zentao中，直接基于story / task / bug 粒度的完成情况，向公司内部ERP进行工作量同步（也就是俗称的"ERP每日报工"）。
DevOps二次开发之shell实现参数替换
tangwendi的专栏
05-31 321
1、DevOps可以实现快速部署，但是二次开发的情景也是需要的，有些时候，一个发布包，需要部署在不同的服务器，部分参数信息需要根据不同的服务器环境进行动态更新。 2、下面的代码为了解决如下问题： 配置文件中每行有两列，分别是配置项名称和配置项对应的值 从配置项逐行读取参数名称和参数值，并替换至脚本文件中。 abc.txt nnnnnnnn{{projectid}}dddddddddddddddd --------------------------------------------------
如何实施DevOps
moonpure的专栏
11-10 603
链接：https://www.zhihu.com/question/24413538/answer/116474416 我是做DevOps这个领域的创业者，跟一些中小互联网和传统IT公司都有过这方面的一些探讨。 现在对实施DevOps有想法的公司，多半都是业务发展还不错，在研发和运维上都比较大的压力的公司，希望通过引入DevOps来提升公司IT部门的总体运作效率，来
DevOps 完整搭建教程
05-12
1-5章 第六章暂未制作完成 整套教程贯穿整个DevOps的搭建过程，是作者实际工作中使用...第二章-k8s web管理工具安装 第三章-搭建CICD服务器 第四章-改造前后端项目 第五章-项目发布 第六章-ansible应用 百度网盘下载
DevOps 实践
06-19
#### 二、亚马逊的DevOps之旅 亚马逊是全球领先的电子商务公司之一，也是DevOps领域的先驱。自2001年起，亚马逊就开始对其开发流程进行重大改革，逐步实现了从传统瀑布式开发模式向敏捷、DevOps模式的转变。 #####...
关于DevOps（二）
Sanjay的专栏
10-18 803
DevOps最近成了热词，望文生义，你也能猜个八九不离十，它就是在说"研发团队"与"运维团队"之间的那点事儿。那么，到底什么是"DevOps"呢？ WikiPedia上说："DevOps是软件开发、运维和质量保证三个部门之间的沟通、协作和集成所采用的流程、方法和体系的一个集合。它是人们为了及时生产软件产品或服务，以满足某个业务目标，对开发与运维之间相互依存关系的一种新的理解。"这恰好体现了精
DevOps(2)
qq_30624649的博客
01-04 780
交换空间是Linux使用的一定空间，用于临时保存一些并发运行的程序。当RAM没有足够的内存来容纳正在执行的所有程序时，就会发生这种情况。
DevOps-8:需求开发生命周期与DevOps系统能力
北亮的专栏
03-10 568
简述我使用过的DevOps系统能力和完整需求生命周期流程图，包括需求与代码关联、代码扫描、配置比对、表结构比对等
Jenkins与Docker相关的Plugin使用
ztsinghua的专栏
08-05 9482
Jenkins与Docker相关的Plugin使用 Jenkins与Docker相关的Plugin 在Jenkins Plugin页面搜索与Docker相关的插件，有如下几个： CloudBees Docker Build and Publish plugin — This plugin provides the ability to build projects with a Do
rancher+k8s+jenkins+harbor打包springboot的CI/CD过程
slaughter111的专栏
07-26 1732
rancher+jenkins+gitlab+harbor自动部署配置
Jenkins + Docker + AWS 搭建CI/CD持续集成环境
会抒情的猪
06-21 956
使用Jenkins作为持续集成平台，结合Docker容器，发布项目到AWS环境的CI/CD持续集成环境搭建。
使用 Kubernetes 和 Jenkins 创建一个 CI/CD 流水线
运维那些事儿
08-05 549
文章主要说明了关于 CI/CD 的知识，通过实验结合 Jenkins，Ansible，Kubernetes 将应用程序部署到 k8s 上。 CI/CD 尝试解决什么问题？ CI/CD 同 DevOps、Agile、Scrum、Kanban、自动化以及其他术语一样，是一个一起被经常提及的专用术语。有时候，它被当做工作流的一部分，但是并没有搞清楚这是什么或者为什么它会被采用。对于年轻的 DevOps 工程师来说，使用 CI/CD 理所当然已经成为了常态，可能他们并没有看到“传统”的软件发布流程而因此不欣赏 C
Go/Golang DevOps运维开发实战集训营
07-13
它能够快速编译成静态二进制文件，易于部署，并且运行时性能优秀，这使得基于Go的工具在持续集成/持续交付(CI/CD)链中扮演重要角色，例如Jenkins、Docker、Grafana等。 DevOps是一种文化和实践，强调开发和运维之间...
DevOps(3)
最新发布
qq_30624649的博客
01-04 736
符号链接的行为类似于Windows中的快捷方式。这些链接指向程序，文件或目录。他还允许你即时访问他，而无需直接转到整个路径名。
Linux环境自动部署案例,Linux下基于Gitlab和Jenkins的自动化部署实例（二）—构建docker镜像，并利用构建的镜像运行容器...
weixin_36244678的博客
05-12 319
续我的上篇博文：https://mp.csdn.net/postedit/89260300。即test项目已经配置好本篇博文配置的自动化部署之推送docker镜像是在上篇博文的hello项目构建成功之后，才触发的。git——>gitlab——>jenkins——>docker build images——>docker engine ——>container在实...
7.使用jenkins+marathon+docker完成自动化部署
weixin_30254435的博客
12-26 547
1.前置条件 1)Docker开启TCP端口,CloudBees Docker Build and Publish plugin插件会向目标主机docker生成docker镜像 开启docker apiserver的2375管理端口，本示例在CentOS7环境下。编辑docker.service文件，修改ExecStart参数，添加-H tcp://0.0.0.0:2375 -H unix:/...
Kubernetes-基于容器云构建devops平台
zhangjunli的博客
09-01 1457
1、基于kubernetes devops的整体方案 本文以Kubernetes为基础，为基于java语言研发团队提供一套完整的devops解决方案。在此方案中，开发人员基于eclipse集成开发环境进行代码；开发人员所开发的代码交由由gitlab进行托管、版本管理和分支管理；代码的依赖更新和构建工作由Maven进行处理；为了提升工作效率和代码质量，在devops中引入SonarQube进行代码检查；对于打包构建后代码，交由docker进行镜像构建，并在私有镜像仓库中对镜像进行管理；最后，de...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值