Jenkins持续集成

1. 持续集成及Jenkins介绍

1.1. 软件开发生命周期

• 软件开发生命周期又叫做SDLC（Software Development Life Cycle），它是集合了计划、开发、测试和部署过程的集合。如下图所示 ：
  
• 需求分析

这是生命周期的第一阶段，根据项目需求，团队执行一个可行性计划的分析。项目需求可能是公司内部或者客户提出的。这阶段主要是对信息的收集，也有可能是对现有项目的改善和重新做一个新的项目。还要分析项目的预算多长，可以从哪方面受益及布局，这也是项目创建的目标。

• 设计

第二阶段就是设计阶段，系统架构和满意状态（就是要做成什么样子，有什么功能），和创建一个项目计划。计划可以使用图表，布局设计或者文者的方式呈现。

• 实现

第三阶段就是实现阶段，项目经理创建和分配工作给开者，开发者根据任务和在设计阶段定义的目标进行开发代码。依据项目的大小和复杂程度，可以需要数月或更长时间才能完成。

• 测试

测试人员进行代码测试 ，包括功能测试、代码测试、压力测试等。

• 进化

最后进阶段就是对产品不断的进化改进和维护阶段，根据用户的使用情况，可能需要对某功能进行修 改，bug修复，功能增加等。

1.2. 软件开发瀑布模型

• 瀑布模型是最著名和最常使用的软件开发模型。瀑布模型就是一系列的软件开发过程。它是由制造业繁衍出来的。一个高度化的结构流程在一个方向上流动，有点像生产线一样。在瀑布模型创建之初，没有其它开发的模型，有很多东西全靠开发人员去猜测，去开发。这样的模型仅适用于那些简单的软件开发， 但是已经不适合现在的开发了。

• 下图对软件开发模型的一个阐述：
  

优势	劣势
简单易用和理解	各个阶段的划分完全固定，阶段之间产生大量的文档，极大地增加了工作量。
当前一阶段完成后，您只需要去关注后续阶段。	由于开发模型是线性的，用户只有等到整个过程的末期才能见到开发成果，从而增加了开发风险。
为项目提供了按阶段划分的检查节点	瀑布模型的突出缺点是不适应用户需求的变化。

1.3. 软件的敏捷开发

1.3.1. 什么是敏捷开发？

• 敏捷开发（Agile Development） 的核心是迭代开发（Iterative Development） 与 增量开发（Incremental Development） 。

1. 何为迭代开发？

对于大型软件项目，传统的开发方式是采用一个大周期（比如一年）进行开发，整个过程就是一次"大开发"；迭代开发的方式则不一样，它将开发过程拆分成多个小周期，即一次"大开发"变成多次"小开发"，每次小开发都是同样的流程，所以看上去就好像重复在做同样的步骤。

举例来说，SpaceX 公司想造一个大推力火箭，将人类送到火星。但是，它不是一开始就造大火箭，而是先造一个最简陋的小火箭 Falcon 1。结果，第一次发射就爆炸了，直到第四次发射，才成功进入轨道。然后，开发了中型火箭 Falcon 9，九年中发射了70次。最后，才开发 Falcon 重型火箭。如果SpaceX 不采用迭代开发，它可能直到现在还无法上天。

• 何为增量开发？

软件的每个版本，都会新增一个用户可以感知的完整功能。也就是说，按照新增功能来划分迭代。

举例来说，房产公司开发一个10栋楼的小区。如果采用增量开发的模式，该公司第一个迭代就是交付一号楼，第二个迭代交付二号楼…每个迭代都是完成一栋完整的楼。而不是第一个迭代挖好10栋楼的地基，第二个迭代建好每栋楼的骨架，第三个迭代架设屋顶…

1.3.2. 敏捷开发如何迭代？

• 虽然敏捷开发将软件开发分成多个迭代，但是也要求，每次迭代都是一个完整的软件开发周期，必须按照软件工程的方法论，进行正规的流程管理。
  

1.3.3. 敏捷开发有什么好处？

• 早期交付

敏捷开发的第一个好处，就是早期交付，从而大大降低成本。 还是以上一节的房产公司为例，如果按照传统的"瀑布开发模式"，先挖10栋楼的地基、再盖骨架、然后架设屋顶，每个阶段都等到前一个阶段完成后开始，可能需要两年才能一次性交付10栋楼。也就是说，如果不考虑预售，该项目必须等到两年后才能回款。 敏捷开发是六个月后交付一号楼，后面每两个月交付一栋楼。因此，半年就能回款10%，后面每个月都会有现金流，资金压力就大大减轻了。

• 降低风险

敏捷开发的第二个好处是，及时了解市场需求，降低产品不适用的风险。 请想一想，哪一种情况损失比较小：10栋楼都造好以后，才发现卖不出去，还是造好第一栋楼，就发现卖不出去，从而改进或停建后面9栋楼？

1.4. 什么是持续集成

• 持续集成（ Continuous integration ， 简称 CI ）指的是，频繁地（一天多次）将代码集成到主干。持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。

• 通过持续集成， 团队可以快速的从一个功能到另一个功能，简而言之，敏捷软件开发很大一部分都要归功于持续集成。

• 持续集成的流程
  

• 根据持续集成的设计，代码从提交到生产，整个过程有以下几步

1. 提交：

流程的第一步，是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交（commit）。

2. 测试（第一轮）

代码仓库对commit操作配置了钩子（hook），只要提交代码或者合并进主干，就会跑自动化测试。

3. 构建

通过第一轮测试，代码就可以合并进主干，就算可以交付了。交付后，就先进行构建（build），再进入第二轮测试。所谓构建，指的是将源码转换为可以运行的实际代码，比如安装依赖，配置各种资源（样式表、JS脚本、图片）等等。

4. 测试（第二轮）

构建完成，就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容，第二轮可以省略，当然，这时构建步骤也要移到第一轮测试前面。

5. 部署

过了第二轮测试，当前代码就是一个可以直接部署的版本（artifact）。将这个版本的所有文件打包（tar filename.tar * ）存档，发到生产服务器。

6. 回滚

一旦当前版本发生问题，就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接，指向上一个版本的目录。

1.5. 持续集成的组成要素

• 一个自动构建过程， 从检出代码、 编译构建、 运行测试、 结果记录、测试统计等都是自动完成的， 无需人工干预。

• 一个代码存储库，即需要版本控制软件来保障代码的可维护性，同时作为构建过程的素材库，一般使用SVN或Git。

• 一个持续集成服务器， Jenkins 就是一个配置简单和使用方便的持续集成服务器。

1.6. 持续集成的好处

1. 降低风险，由于持续集成不断去构建，编译和测试，可以很早期发现问题，所以修复的代价就少；
2. 对系统健康持续检查，减少发布风险带来的问题；
3. 减少重复性工作；
4. 持续部署，提供可部署单元包；
5. 持续交付可供使用的版本；
6. 增强团队信心；

1.7. Jenkins介绍

• Jenkins 是一款流行的开源持续集成（Continuous Integration）工具，广泛用于项目开发，具有自动化构建、测试和部署等功能。官网:http://jenkins-ci.org/。

• Jenkins的特征：

  1. 开源的Java语言开发持续集成工具，支持持续集成，持续部署。

  2. 易于安装部署配置：可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理。

  3. 消息通知及测试报告：集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知，生成JUnit/TestNG测试报告。

  4. 分布式构建：支持Jenkins能够让多台计算机一起构建/测试。

  5. 文件识别：Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等。

  6. 丰富的插件支持：支持扩展插件，你可以开发适合自己团队使用的工具，如git，svn，maven，docker等

2. Jenkins安装

2.1. 持续集成流程说明

1. 首先，开发人员每天进行代码提交，提交到Git仓库
2. 然后，Jenkins作为持续集成工具，使用Git工具到Git仓库拉取代码到集成服务器，再配合JDK，Maven等软件完成代码编译，代码测试与审查，测试，打包等工作，在这个过程中每一步出错，都重新再执行一次整个流程。
3. 最后，Jenkins把生成的jar或war包分发到测试服务器或者生产服务器，测试人员或用户就可以访问应用。

2.2. jenkins安装部署

• jenkins软件基于centos8系统，java-11-openjdk

#配置yum仓库
wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo
rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io-2023.key
#安装jenkins和java
yum   -y  install fontconfig java-11-openjdk   java-11-openjdk-devel  jenkins
#启动Jenkins
systemctl start jenkins

2.3. 打开浏览器访问：

192.168.2.100:8080

• 注意：本服务器把防火墙关闭了，如果开启防火墙，需要在防火墙添加端口
• 获取并输入admin账户密码

cat   /var/lib/jenkins/secrets/initialAdminPassword

• 安装推荐的插件
  

• 添加一个管理员账户，并进入Jenkins后台
  
  

2.4. 持续集成环境-Jenkins插件管理

• Jenkins本身不提供很多功能，我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码，使用Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。
• Jenkins国外官方插件地址下载速度非常慢，所以可以修改为国内插件地址：
• Jenkins->Manage Jenkins->Plugins，点击Available plugins
  
• 这样做是为了把Jenkins官方的插件列表下载到本地，接着修改地址文件，替换为国内插件地址

cd /var/lib/jenkins/updates
sed -i 's/https:\/\/updates.jenkins.io\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i 's/https:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json

• 最后，Jenkins->Manage Jenkins->Plugins->Advanced settings，把Update Site改为国内插件下载地址。
  https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
  
• Sumbit后，在浏览器输入： http://192.168.2.100:8888/restart ，重启Jenkins。

2.4.1. 下载中文汉化插件

• Jenkins->Manage Jenkins->Plugins，点击Available plugins
  

• 重启Jenkins后，就看到Jenkins汉化了！（PS：但可能部分菜单汉化会失败）

2.5. 持续集成环境-Jenkins用户权限管理

• 我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限
• 安装Role-based Authorization Strategy插件
  
• 开启权限全局安全配置
  
• 授权策略切换为"Role-Based Strategy"，保存
  

2.5.1. 创建角色

• 在系统管理页面进入 Manage and Assign Roles
  

• 点击"Manage Roles"
  

• Global roles（全局角色）：管理员等高级用户可以创建基于全局的角色

• item roles（项目角色）：针对某个或者某些项目的角色

• Agent roles （代理角色）：节点相关的权限

• 我们添加以下三个角色：

1. baseRole：该角色为全局角色。这个角色需要绑定Overall下面的Read权限，是为了给所有用户绑定最基本的Jenkins访问权限。注意：如果不给后续用户绑定这个角色，会报错误：用户名 ismissing the Overall/Read permission
2. role1：该角色为项目角色。使用正则表达式绑定"test.*"，意思是只能操作test开头的项目。
3. role2：该角色也为项目角色。绑定"iot.*"，意思是只能操作iot开头的项目。

• 保存

2.5.2. 创建用户

• 在系统管理页面进入 Users
  
  

• 分别创建两个用户：xiaow和xiaob
  

2.5.3. 给用户分配角色

• 系统管理页面进入Manage and Assign Roles，点击Assign Roles
• 绑定规则如下：
  1. xiaow用户分别绑定baseRole和role1角色
  2. xiaob用户分别绑定baseRole和role2角色
     

• 记得保存

2.5.4. 创建项目测试权限

• 以管理员账户创建两个项目：分别为test01、iot01
  
• 结果为：
  1. xiaow用户登录，只能看到test01项目
  2. xiaob用户登录，只能看到iot01项目

2.6. 持续集成环境-Jenkins凭证管理

• 凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等，以便Jenkins可以和这些第三方的应用进行交互。

2.6.1. 安装Credentials Binding插件

• 要在Jenkins使用凭证管理功能，需要安装Credentials Binding插件

2.7. 安装Git插件和Git工具

• 为了让Jenkins支持从Gitlab拉取源码，需要安装Git插件以及在CentOS8上安装Git工具。

2.7.1. 安装git插件

2.7.2. CentOS8上安装Git工具：

#检查系统是否安装git
rpm -q git
git-2.27.0-1.el8.x86_64
#如果没有安装，操作如下：
yum   -y  install git

2.8. 持续集成环境-Maven安装和配置

2.8.1. 安装maven插件

2.8.2. 安装Maven

#安装maven
cd  /usr/local
wget   https://dlcdn.apache.org/maven/maven-3/3.9.5/binaries/apache-maven-3.9.5-bin.tar.gz
tar  -xf   apache-maven-3.9.5-bin.tar.gz
mv apache-maven-3.9.5  maven

# 配置环境变量
vim /etc/profile
#添加以下内容
export   JAVA_HOME=/usr/lib/jvm/java-11-openjdk
export   MAVEN_HOME=/usr/local/maven
export   PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bi

source /etc/profile 配置生效
mvn -v 查找Maven版本

2.8.3. 全局工具配置关联JDK和Maven

• Jenkins->Manage Jenkins->Tools->JDK安装->新增JDK，配置如下：
  

• Jenkins->Manage Jenkins->Tools->Maven安装->新增Maven，配置如下：

2.8.4. 修改Maven的settings.xml

• 添加阿里云私服地址：http://maven.aliyun.com/nexus/content/groups/public

#创建本地仓库目录
mkdir /usr/local/repo
#修改本地仓库为：/usr/local/repo
vim  /usr/local/maven/conf/settings.xml
#修改如下：
 <localRepository>/usr/local/repo</localRepository>

    <mirror>
        <id>aliyun-maven</id>
        <mirrorOf>central</mirrorOf>
        <name>Aliyun Maven</name>
       <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>

3. jenkins配置maven+git自动构建jar包

jenkins->新建ltem->创建任务

4. 自动发布到测试服务并自动运行

4.1. 安装Publish Over SSH Version 插件

• "Publish Over SSH Version"插件是Jenkins中用于在构建过程中通过SSH协议将文件或目录上传到远程服务器的插件
• Jenkins->Manage Jenkins->Plugins
  

4.2. 配置测试服务器信息

• Jenkins->Manage Jenkins->System->Publish over SSH
  
  
  

4.3. 创建任务自动发布到测试服务并自动运行

• 这里就不展示测试服务器的执行结果了

5. 创建自动触发器自动构建任务

5.1. 构建触发器有以下几种：

• 快照依赖构建：Build whenever a SNAPSHOT dependency is built
  • 当依赖的快照被构建时执行本job
• 触发远程构建： (例如,使用脚本)
  • 远程调用本job的restapi时执行本job
• job依赖构建：Build after other projects are built
  • 当依赖的job被构建时执行本job
• 定时构建：Build periodically
  • 使用cron表达式定时构建本job
• 向GitHub提交代码时触发Jenkins自动构建：GitHub hook trigger for GITScm polling
  • Github-WebHook出发时构建本job
• 定期检查代码变更：Poll SCM
  • 使用cron表达式定时检查代码变更，变更后构建本job

5.2. 触发远程构建/gitlab上改动自动构建

• 代码改动自动可以使用gitlab的webhook回调钩子调起Jenkins的启动任务接口

5.2.1. 安装插件Build Authorization Token Root

• jnekins–>Manage Jenkins–>Plugins–>Available plugins
  

5.2.2. 在test02任务中修改创建触发远程构建

• 记得保存

• 前往gitlab配置Webhooks，这里我使用的是云效git，可能有些出入需要在百度查找如何修改。
  
  
  

• 这里不演示了

5.3. 构建触发器-定时构建

5.3.1. Jenkins cron表达式

• 标准cron：https://crontab.guru
• Jenkins cron不是标准的cron表达式

#第一个 * 表示每个小时的第几分钟，取值0~59

H * * * *    #每小时执行一次

第二颗 * 表示小时，取值0~23

* 15 * * *    #表示每天下午3点
* 1 * * *     #表示每天凌晨1点

#第三颗 * 表示一个月的第几天，取值1~31
* 1 5 * *     #表示每月5日凌晨1点

#第四颗 * 表示第几月，取值1~12
* 15 5 1 *     #表示每年几月执行

#第五颗 * 表示一周中的第几天，取值0~7，其中0和7代表的都是周日


/

表示每隔多长时间，比如 */10 * * * * 表示 每隔10分钟

H

hash散列值，以job名取值，获取到以job名为入参的唯一值，相同名称值也相同，这个偏移量会和实际时间相加，获得一个真实的运行时间

意义在于：不同的项目在不同的时间运行，即使配置的值是一样的，比如 都是`15 * * * * ` ，表示每个小时的第15分钟开始执行任务，那么会造成同一时间内在Jenkins中启动很多job，
换成`H/15 * * * *`,那么在首次启动任务时，会有随机值参与进来，有的会在17分钟启动 有的会在19分钟启动，随后的启动时间也是这个值。这样就能错开相同cron值的任务执行了。

H的值也可以设置范围



`H * * * *`表示一小时内的任意时间

`*/10 * * * *`每10分钟

`H/10 * * * *`每10分钟,可能是7,17,27，起始时间hash，步长不变

`45 3 * * 1-6 ` 每个周一至周六，凌晨3点45 执行1次

`45 3-5 * * 1-6 ` 每个周一至周六，凌晨3点45 ，凌晨4点45，凌晨5点45 各执行1次

`H(40-48) 3-5 * * 1-6 ` 在40~48之间取值 其他同上

`45 3-5/2 * * 1-6 ` 每个周一至周六，凌晨3点45 ，凌晨5点45 各执行1次

` 45 0-6/2 * * 1-6 * * 1-6 ` 0点开始，每间隔2小时执行一次 0:45、2:45、4:45

5.3.2. 在test02任务中修改构建触发定时构建

• 记得保存