Jenkins的快速入门

---

一、Jenkins是什么？

Jenkins 是一款流行的开源持续集成（Continuous Integration）工具，广泛用于项目开发，具有自动化构建、测试和部署等功能。官网： http://jenkins-ci.org/。

Jenkins的特征：

• 开源的Java语言开发持续集成工具，支持持续集成，持续部署。
• 易于安装部署配置：可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理。
• 消息通知及测试报告：集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知，生成JUnit/TestNG测试报告。
• 分布式构建：支持Jenkins能够让多台计算机一起构建/测试。
• 文件识别：Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等。
• 丰富的插件支持：支持扩展插件，你可以开发适合自己团队使用的工具，如git，svn，maven，docker等。

二、Jenkins安装和持续集成环境配置

1.持续集成流程说明

1. 首先，开发人员每天进行代码提交，提交到Git仓库。
2. 然后，Jenkins作为持续集成工具，使用Git工具到Git仓库拉取代码到集成服务器，再配合JDK，Maven等软件完成代码编译，代码测试与审查，测试，打包等工作，在这个过程中每一步出错，都重新再执行一次整个流程。
3. 最后，Jenkins把生成的jar或war包分发到测试服务器或者生产服务器，测试人员或用户就可以访问应用。

服务器列表
服务器均使用centos7：

名称	IP地址	安装的软件
代码托管服务器	192.168.159.100	Gitllab-12.4.2
持续集成服务器	192.168.159.101	Jenkins-2.418-1.1、Jdk1.8/Jdk11、Maven3.6.2、Git、SonarQube
应用测试服务器	192.168.159.102	Jdk1.8、Tomcat8.5
应用生产服务器	192.168.159.103	Jdk1.8、Tomcat8.5

2.Gitlab代码托管服务器安装

Gitlab简介：

GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。
GitLab和GitHub一样属于第三方基于Git开发的作品，免费且开源（基于MIT协议），与Github类似，可以注册用户，任意提交你的代码，添加SSHKey等等。不同的是，GitLab是可以部署到自己的服务器上，数据库等一切信息都掌握在自己手上，适合团队内部协作开发，你总不可能把团队内部的智慧总放在别人的服务器上吧？简单来说可把GitLab看作个人版的GitHub。
官网： https://about.gitlab.com/

Gitlab安装

1. 安装相关依赖

yum -y install policycoreutils openssh-server openssh-clients postfix

2. 启动ssh服务&设置为开机启动

systemctl enable sshd && sudo systemctl start sshd

3. 设置postfix开机自启，并启动，postfix支持gitlab发信功能

systemctl enable postfix && systemctl start postfix

4. 开放ssh以及http服务，然后重新加载防火墙列表

firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload

如果关闭防火墙就不需要做以上配置
5. 下载gitlab包，并且安装
在线下载安装包：

wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.4.2-ce.0.el7.x86_64.rpm

安装：

rpm -i gitlab-ce-12.4.2-ce.0.el7.x86_64.rpm

6. 修改gitlab配置

vi /etc/gitlab/gitlab.rb

修改gitlab访问地址和端口，默认为80，我们改为82

external_url 'http://192.168.159.100:82
nginx['listen_port'] = 82

7. 重载配置及启动gitlab

gitlab-ctl reconfigure
gitlab-ctl restart

8. 把端口添加到防火墙

firewall-cmd --zone=public --add-port=82/tcp --permanent
firewall-cmd --reload

启动成功后，在浏览器输入：192.168.159.100:82 看到以下修改管理员root 的页面，修改密码为：root123456 后，然后登录即可。

Gitlab的使用

切换中文

添加组

使用管理员 root 创建组，一个组里面可以有多个项目分支，可以将开发添加到组里面进行设置权限，不同的组就是公司不同的开发项目或者服务模块，不同的组添加不同的开发即可实现对开发设置权限的管理。

创建用户

创建用户的时候，可以选择Regular或Admin类型。

• Regular: 普通用户，只能访问属于他的组和项目
• Admin：管理员，可以访问所有组和项目
  
  创建完用户后，立即修改密码。
  
  
  用户名和密码：linging/linging123456

将用户添加到组

Gitlab用户在组里面有5种不同权限：

• Guest：可以创建issue、发表评论，不能读写版本库。
• Reporter：可以克隆代码，不能提交，QA、PM可以赋予这个权限。
• Developer：可以克隆代码、开发、提交、push，普通开发可以赋予这个权限。
• Maintainer：可以创建项目、添加tag、保护分支、添加项目成员、编辑项目，核心开发可以赋予这个权限。
• Owner：可以设置项目访问权限 - Visibility Level、删除项目、迁移项目、管理组成员，开发组组长可以赋予这个权限。

创建项目

root账户创建项目：

idea中代码上传Gitlab

linging开发者账户上传项目：
add到暂存区：

commit到本地仓库：

push到远程仓库:

3.Jenkins持续集成环境服务器安装

Jenkins安装

1）安装JDK
Jenkins需要依赖JDK，所以先安装JDK11

yum install java-11-openjdk* -y 

安装目录为：/usr/lib/jvm

2）获取jenkins安装包
下载页面：https://jenkins.io/zh/download/ 或 清华镜像站
安装文件：jenkins-2.418-1.1.noarch.rpm

3）把安装包上传到192.168.159.101服务器，进行安装

rpm -ivh jenkins-2.418-1.1.noarch.rpm

4）修改Jenkins配置

# jenkins低版本配置文件
vi /etc/sysconfig/jenkins

#高版本配置文件
vi /usr/lib/systemd/system/jenkins.service

修改内容如下：

JENKINS_USER="root"
JENKINS_PORT="8888"

5）启动Jenkins

# 开放端口
firewall-cmd --zone=public --add-port=8888/tcp --permanent
firewall-cmd --reload
# 启动
systemctl start jenkins

6）打开浏览器访问

http://192.168.159.101:8888

7）获取并输入admin账户密码

cat /var/lib/jenkins/secrets/initialAdminPassword

8）跳过插件安装
因为Jenkins插件需要连接默认官网下载，速度非常慢，而且经过会失败，所以我们暂时先跳过插件安装。

用户名和密码：jenkins/123456

直接下一步下一步，直到完成。

Jenkins插件

Jenkins本身不提供很多功能，我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码，使用Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。

修改Jenkins插件下载地址
Jenkins国外官方插件地址下载速度非常慢，所以可以修改为国内插件地址：
1）把Jenkins官方的插件列表下载到本地

cd /var/lib/jenkins/updates
sed -i 's/http:\/\/updates.jenkins-ci.org\/download/https:\/\/mirrors.tuna.tsinghua.edu.cn\/jenkins/g' default.json && sed -i 's/http:\/\/www.google.com/https:\/\/www.baidu.com/g' default.json

2）Jenkins->Manage Jenkins->Manage Plugins，点击Advanced，将Update Site的URL替换为下面的：

https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

3）Sumbit后，在浏览器输入： http://192.168.159.101:8888/restart ，重启Jenkins。

汉化插件安装
Jenkins->Manage Jenkins->Manage Plugins，点击Available，搜索：Chinese

直接从jenkins的管理插件下载安装发现报错，由于安装的jenkins版本比较低，插件很多版本都不支持，解决方式：1）升级jenkins版本 2）自己下载插件上传安装
下面是直接使用下载的插件进行安装，中文插件，选择最低版本。。。，但是由于每次都需要下载安装所以直接升级jenkins更好，当前步骤已经由原来的jenkins2.19版本升级为2.40版本，所以不会出现插件版本问题。



以上为旧版本UI界面，下面为新版本界面：

用户权限管理

我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限
安装Role-based Authorization Strategy插件

开启权限全局安全配置
Jenkins->Manage Jenkins->Configure Global Security，授权策略切换为"Role-Based Strategy"，保存。

创建角色
Jenkins->Manage Jenkins->Manage and Assign Roles，点击"Manage Roles"

• Global roles（全局角色）：管理员等高级用户可以创建基于全局的角色 Project roles（项目角色）：针对某个或者某些项目的角色
• Slave roles（奴隶角色）：节点相关的权限

我们添加以下三个角色：

• baseRole：该角色为全局角色。这个角色需要绑定Overall下面的Read权限，是为了给所有用户绑定最基本的Jenkins访问权限。注意：如果不给后续用户绑定这个角色，会报错误：用户名 is missing the Overall/Read permission
• role1：该角色为项目角色。使用正则表达式绑定"test.*"，意思是只能操作test开头的项目。
• role2：该角色为项目角色。绑定"linging.*"，意思是只能操作linging开头的项目。
  

创建用户
Jenkins->Manage Jenkins->Manage Users，点击新建用户：
新建2个用户，一个zhangsan，一个lisi，然后进入角色页面进行用户角色分配：

• zhangsan绑定baseRole角色和role1角色
• lisi绑定baseRole角色和role2角色
  
  Jenkins->Manage Jenkins->Manage and Assign Roles，点击Assign Roles进行角色分配。
  
  测试项目权限
  使用管理员账户创建2个项目。
  
  分别登录两个新创建的用户：
• zhangsan用户只能看到test-linging项目
• lisi用户只能看到linging-test项目
  
  

凭证管理

凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等，以便Jenkins可以和这些第三方的应用进行交互。

安装Credentials Binding插件
要在Jenkins使用凭证管理功能，需要安装Credentials Binding插件.



可以添加5中凭证：

• Username with password：用户名和密码
• SSH Username with private key： 使用SSH用户和密钥
• Secret file：需要保密的文本文件，使用时Jenkins会将文件复制到一个临时目录中，再将文件路径设置到一个变量中，等构建结束后，所复制的Secret file就会被删除。
• Secret text：需要保存的一个加密的文本串，如钉钉机器人或Github的api token
• Certificate：通过上传证书文件的方式

常用的凭证类型有：Username with password（用户密码）和SSH Username with private key（SSH密钥）

接下来以使用Git工具到Gitlab拉取项目源码为例，演示Jenkins的如何管理Gitlab的凭证。

安装Git插件和Git工具

为了让Jenkins支持从Gitlab拉取源码，需要安装Git插件以及在CentOS7上安装Git工具。

CentOS7上安装Git工具：

# 安装
yum install git -y
# 安装后查看版本 
git --version 

用户密码类型

1）创建凭证

2）测试凭证是否可用

创建一个FreeStyle项目，新建Item->FreeStyle Project->确定，然后配置gitlib的项目URL：

保存后，build项目。


查看/var/lib/jenkins/workspace/目录，发现已经从Gitlab成功拉取了代码到Jenkins中。

SSH密钥类型

SSH免密登录示意图：

1）使用root用户生成公钥和私钥

ssh-keygen -t rsa

在/root/.ssh/目录保存了公钥和使用：

• id_rsa：私钥文件
• id_rsa.pub：公钥文件

2）把生成的公钥放在Gitlab中

以root账户登录->点击头像->Settings->SSH Keys
复制刚才id_rsa.pub文件的内容到这里，点击"Add Key"

3）在Jenkins中添加凭证，配置私钥
在Jenkins添加一个新的凭证，类型为"SSH Username with private key"，把刚才生成私有文件内容复制过来。


4）测试凭证是否可用
新建项目->源码管理->Git，这次要使用Gitlab的SSH连接，并且选择SSH凭证。

Maven安装和配置

在Jenkins集成服务器上，我们需要安装Maven来编译和打包项目。

安装Maven
先上传Maven软件到192.168.159.101

tar -xzf apache-maven-3.6.2-bin.tar.gz  # 解压
mkdir -p /opt/maven # 创建目录
mv apache-maven-3.6.2/* /opt/maven #移动文件

安装JDK8
由于前面安装新版的jenkins时用的是JDK11，所以这里maven使用JDK8需要重新安装一个

yum install java-1.8.0-openjdk* -y

配置环境变量
vi /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export MAVEN_HOME=/opt/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin

source /etc/profile # 配置生效
mvn -v # 查找Maven版本

全局工具配置关联JDK和Maven

Jenkins->Global Tool Configuration->JDK->新增JDK，配置如下：

Jenkins->Global Tool Configuration->Maven->新增Maven，配置如下：

添加Jenkins全局变量

Manage Jenkins->Configure System->Global Properties ，添加三个全局变量
JAVA_HOME、M2_HOME、PATH+EXTRA



修改Maven的settings.xml

mkdir /root/repo 创建本地仓库目录
vi /opt/maven/conf/settings.xml

本地仓库改为：/root/repo/

添加阿里云私服地址：

<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>

测试Maven是否配置成功

使用之前的gitlab密码测试项目，修改配置

构建->增加构建步骤->Execute Shell，输入mvn clean package

再次构建，如果可以把项目打成war包，代表maven环境配置成功啦！

Tomcat安装和配置

安装Tomcat8.5

把Tomcat压缩包上传到192.168.159.102服务器

yum install java-1.8.0-openjdk* -y # 安装JDK
tar -xzf apache-tomcat-8.5.47.tar.gz # 解压
mkdir -p /opt/tomcat # 创建目录
mv /root/apache-tomcat-8.5.47/* /opt/tomcat # 移动文件
/opt/tomcat/bin/startup.sh # 启动tomcat

开放8080端口，地址为：http://192.168.159.102/8080

配置Tomcat用户角色权限

默认情况下Tomcat是没有配置用户角色权限的

但是，后续Jenkins部署项目到Tomcat服务器，需要用到Tomcat的用户，所以修改tomcat以下配置，添加用户及权限

vi /opt/tomcat/apache-tomcat-8.5.47/conf/tomcat-users.xml

内容如下：

<tomcat-users>
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password="tomcat" roles="manager-gui,manager-script,tomcat,admin-gui,admin-script"/>
</tomcat-users>

用户和密码都是：tomcat

注意：为了能够刚才配置的用户登录到Tomcat，还需要修改以下配置

vi /opt/tomcat/apache-tomcat-8.5.47/webapps/manager/META-INF/context.xml

<!--
<Valve className="org.apache.catalina.valves.RemoteAddrValve"
allow="127\.\d+\.\d+\.\d+|::1|0:0:0:0:0:0:0:1" />
-->

把上面这行注释掉即可！

重启Tomcat，访问测试

/opt/tomcat/apache-tomcat-8.5.47/bin/shutdown.sh #停止
/opt/tomcat/apache-tomcat-8.5.47/bin/startup.sh #启动

访问： http://192.168.159.102:8080/manager/html ，输入tomcat和tomcat，看到以下页面代表成功啦。

三、Jenkins构建Maven项目

1.Jenkins构建的项目类型介绍

Jenkins中自动构建项目的类型有很多，常用的有以下三种：

• 自由风格软件项目（FreeStyle Project）
• Maven项目（Maven Project）
• 流水线项目（Pipeline Project）

每种类型的构建其实都可以完成一样的构建过程与结果，只是在操作方式、灵活度等方面有所区别，在实际开发中可以根据自己的需求和习惯来选择。（PS：个人推荐使用流水线类型，因为灵活度非常高）

2.自由风格项目构建

下面演示创建一个自由风格项目来完成项目的集成过程：

拉取代码->编译->打包->部署

拉取代码
1）创建项目

2）配置源码管理，从gitlab拉取代码

编译打包
构建->添加构建步骤->Executor Shell

echo "开始编译和打包"
mvn clean package
echo "编译和打包结束"

部署

把项目部署到远程的Tomcat里面
1）安装 Deploy to container插件
Jenkins本身无法实现远程部署到Tomcat的功能，需要安装Deploy to container插件实现

2）添加Tomcat用户凭证

3）添加构建后操作

点击"Build Now"，开始构建过程

4）部署成功后，访问项目
http://192.168.159.102:8080/web_demo-1.0-SNAPSHOT/

3.Maven构建类型

1）安装Maven Integration插件

2）创建Maven项目

3）配置项目
拉取代码和远程部署的过程和自由风格项目一样，只是"构建"部分不同

4.Pipeline流水线构建类型

Pipeline简介
1）概念
Pipeline，简单来说，就是一套运行在 Jenkins 上的工作流框架，将原来独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。

2）使用Pipeline有以下好处（来自翻译自官方文档）：

• 代码：Pipeline以代码的形式实现，通常被检入源代码控制，使团队能够编辑，审查和迭代其传送流程。
• 持久：无论是计划内的还是计划外的服务器重启，Pipeline都是可恢复的。
• 可停止：Pipeline可接收交互式输入，以确定是否继续执行Pipeline。
• 多功能：Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行，并行执行任务的功能。
• 可扩展：Pipeline插件支持其DSL的自定义扩展 ，以及与其他插件集成的多个选项。

3）如何创建 Jenkins Pipeline呢？

• Pipeline 脚本是由 Groovy 语言实现的，但是我们没必要单独去学习 Groovy
• Pipeline 支持两种语法：Declarative(声明式)和 Scripted Pipeline(脚本式)语法
• Pipeline 也有两种创建方法：可以直接在 Jenkins 的 Web UI 界面中输入脚本；也可以通过创建一个 Jenkinsfile 脚本文件放入项目源码库中（一般我们都推荐在 Jenkins 中直接从源代码控制(SCM)中直接载入 Jenkinsfile Pipeline 这种方法）。

安装Pipeline插件
Manage Jenkins->Manage Plugins->可选插件

安装插件后，创建项目的时候多了“流水线”类型

Pipeline语法快速入门

1）Declarative声明式-Pipeline
创建项目

流水线->选择HelloWorld模板

• stages：代表整个流水线的所有执行阶段。通常stages只有1个，里面包含多个stage
• stage：代表流水线中的某个阶段，可能出现n个。一般分为拉取代码，编译构建，部署等阶段。
• steps：代表一个阶段内需要执行的逻辑。steps里面是shell脚本，git拉取代码，ssh远程发布等任意内容。

编写一个简单声明式Pipeline：

pipeline {
    agent any
    stages {
        stage('拉取代码') {
            steps {
                echo '拉取代码'
            }
        }
        stage('编译构建') {
            steps {
                echo '编译构建'
            }
        }
        stage('项目部署') {
            steps {
                echo '项目部署'
            }
        }
    }
}

点击构建，可以看到整个构建过程

想看阶段构建视图下载插件：Pipeline Stage View

2）Scripted Pipeline脚本式-Pipeline
创建项目，选择"Scripted Pipeline"

• Node：节点，一个 Node 就是一个 Jenkins 节点，Master 或者 Agent，是执行 Step 的具体运行环境，后续讲到Jenkins的Master-Slave架构的时候用到。
• Stage：阶段，一个 Pipeline 可以划分为若干个 Stage，每个 Stage 代表一组操作，比如：
  Build、Test、Deploy，Stage 是一个逻辑分组的概念。
• Step：步骤，Step 是最基本的操作单元，可以是打印一句话，也可以是构建一个 Docker 镜像，由各类 Jenkins 插件提供，比如命令：sh ‘make’，就相当于我们平时 shell 终端中执行 make 命令一样。

编写一个简单的脚本式Pipeline

node {
	def mvnHome
	stage('拉取代码') { // for display purposes
		echo '拉取代码'
	}
	stage('编译构建') {
		echo '编译构建'
	}
	stage('项目部署') {
		echo '项目部署'
	}
}

构建结果和声明式一样！

拉取代码，编译打包，部署。

pipeline {
	agent any
    stages {
        stage('拉取代码') {
            steps {
                checkout([$class: 'GitSCM', branches: [[name: '*/master']],
                doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [],
                userRemoteConfigs: [[credentialsId: 'e3dd3f10-1eeb-43d9-8deb-04a59ece0c55', url:
                'git@192.168.159.100:linging_group/linging-test.git']]])
            }
        }
        stage('编译构建') {
            steps {
            	sh label: '', script: 'mvn clean package'
            }
        }
        stage('项目部署') {
            steps {
            deploy adapters: [tomcat8(credentialsId: 'e3dd3f10-1eeb-43d9-8deb-04a59ece0c55', path: '', url: 'http://192.168.159.102:8080')], contextPath: null,
            war: 'target/*.war'
            }
        }
    }
}

3）Pipeline Script from SCM
刚才我们都是直接在Jenkins的UI界面编写Pipeline代码，这样不方便脚本维护，建议把Pipeline脚本放在项目中（一起进行版本控制）
1）在项目根目录建立Jenkinsfile文件，把内容复制到该文件中

把Jenkinsfile上传到Gitlab。

2）在项目中引用该文件


3）构建项目

四、Jenkins项目构建细节

1.常用的构建触发器

Jenkins内置4种构建触发器：

• 触发远程构建
• 其他工程构建后触发（Build after other projects are build）
• 定时构建（Build periodically）
• 轮询SCM（Poll SCM）

触发远程构建

http://192.168.159.101:8888/job/web_demo_pipeline03/build?token=6666

其他工程构建后触发（Build after other projects are build）

1）创建pre_job流水线工程

2）配置需要触发的工程test_job，test_job工程配置了pre_job，表示当pre_job构建完成后接着构建test_job工程。

定时构建（Build periodically）

定时字符串从左往右分别为： 分 时 日 月 周

轮询SCM（Poll SCM）

轮询SCM，是指定时扫描本地代码仓库的代码是否有变更，如果代码有变更就触发项目构建。

注意：这次构建触发器，Jenkins会定时扫描本地整个项目的代码，增大系统的开销，不建议使用。

、

2.Git hook自动触发构建(*)

刚才我们看到在Jenkins的内置构建触发器中，轮询SCM可以实现Gitlab代码更新，项目自动构建，但是该方案的性能不佳。那有没有更好的方案呢？ 有的。就是利用Gitlab的webhook实现代码push到仓库，立即触发项目自动构建。

安装Gitlab Hook插件
需要安装两个插件：
Gitlab Hook和GitLab，安装时只有GitLab插件，貌似Gitlab Hook集成在GitLab插件中了。

Jenkins设置自动构建

上面的URL等会需要copy到gitlab中。

Gitlab配置webhook
1）开启webhook功能

使用root账户登录到后台，点击Admin Area -> Settings -> Network
勾选"Allow requests to the local network from web hooks and services"

2）在项目添加webhook

点击项目->Settings->Integrations

注意：以下设置必须完成，否则会报错！

Manage Jenkins->Configure System，去掉勾选

3.Jenkins的参数化构建

有时在项目构建的过程中，我们需要根据用户的输入动态传入一些参数，从而影响整个构建结果，这时我们可以使用参数化构建。

Jenkins支持非常丰富的参数类型

接下来演示通过输入gitlab项目的分支名称来部署不同分支项目。

项目创建分支，并推送到Gitlab上

在Jenkins添加字符串类型参数

改动pipeline流水线代码

点击Build with Parameters

输入分支名称，构建即可！构建完成后访问Tomcat查看结果。

4.配置邮箱服务器发送构建结果

安装Email Extension插件…

---

总结