Jenkins - Parallel 并行执行

引言

日常执行测试用例，为了缩减执行时间，提高工作效率，可以从以下两个方面进行改进。

• 代码层面：用多进程并发执行代替单进程串行执行，更多细节请参考《Python 多线程和多进程并发执行》
• Jenkins 层面：我们可以将测试用例拆分成多个 Job，然后并行执行这些 Job。

今天主要了解一下 Jenkins 并行多个 Job 执行。

Jenkins Parallel 基本用法

在 Jenkins pipeline 中，parallel 关键字用于并行执行多个步骤。这可以显著减少构建时间，特别是当你有多个独立的任务需要完成时。

下面这个脚本定义了一个 Jenkins pipeline，其中包含一个 Parallel Jobs 阶段，使用 parallel 块来定义并行执行的多个子阶段，该阶段下有三个并行的子阶段（Job 1、Job 2 和 Job 3）。每个子阶段包含具体的步骤，例如 echo 和 sh 命令。

pipeline {
   
    agent any

    stages {
   
        stage('Parallel Jobs') {
   
            parallel {
   
                stage('Job 1') {
   
                    steps {
   
                        echo 'Running Job 1'
                        // 在这里添加 Job 1 的具体执行步骤
                        sh 'echo "Job 1 executed"'
                    }
                }
                stage('Job 2') {
   
                    steps {
   
                        echo 'Running Job 2'
                        // 在这里添加 Job 2 的具体执行步骤
                        sh 'echo "Job 2 executed"'
                    }
                }
                stage('Job 3') {
   
                    steps {
   
                        echo 'Running Job 3'
                        // 在这里添加 Job 3 的具体执行步骤
                        sh 'echo "Job 3 executed"'
                    }
                }
            }
        }
    }
}

我们来看一下运行效果：Job 1、Job 2 和 Job 3 是同进运行的

17:24:14  [Pipeline] {
   
17:24:14  [Pipeline] stage
17:24:14  [Pipeline] {
    (Parallel Jobs)
17:24:14  [Pipeline] parallel
17:24:14  [Pipeline] {
    (Branch: Job 1)
17:24:14  [Pipeline] {
    (Branch: Job 2)
17:24:14  [Pipeline] {
    (Branch: Job 3)
17:24:14  [Pipeline] stage
17:24:14  [Pipeline] {
    (Job 1)
17:24:14  [Pipeline] stage
17:24:14  [Pipeline] {
    (Job 2)
17:24:14  [Pipeline] stage
17:24:14  [Pipeline] {
    (Job 3)
17:24:14  [Pipeline] echo
17:24:14  Running Job 1
17:24:14  [Pipeline] sh
17:24:14  [Pipeline] echo
17:24:14  Running Job 2
17:24:14  [Pipeline] sh
17:24:14  [Pipeline] echo
17:24:14  Running Job 3
17:24:14  [Pipeline] sh
17:24:14  + echo Job 1 executed
17:24:14  Job 1 executed
17:24:14  [Pipeline] }
17:24:14  + echo Job 2 executed
17:24:14  Job 2 executed
17:24:14  [Pipeline] // stage
17:24:14  [Pipeline] }
17:24:14  + echo Job 3 executed
17:24:14  Job 3 executed
17:24:14  [Pipeline] }
17:24:14  [Pipeline] // stage
17:24:14  [Pipeline] }
17:24:14  [Pipeline] }
17:24:15  [Pipeline] // stage
17:24:15  [Pipeline] }
17:24:15  [Pipeline] // parallel
17:24:15  [Pipeline] }
17:24:15  [Pipeline] // stage
17:24:15  [Pipeline] }
17:24:15  [Pipeline] // node
17:24:15  [Pipeline] End of Pipeline
17:24:15  Finished: SUCCESS

Jenkins Prallel 启动多个其他 Job

上在举例中 3 个 Job 只是执行一些基础脚本，现实测试过程中，是需要并行执行多个其它 Job 的，并且需要传参，获取执行结果等等。
下面定义一个 Jenkins pipeline，主 job 传参给子 job，并行执行三个子 job，每个子阶段使用 build 步骤触发其他 Jenkins job （Testing_1，Testing_2，'Testing_3），并使用 wait: false 参数使其异步执行，最后将子 job 的信息传给 report job，发邮件汇总测试结果。

propagate: false 表示即使这个 job 失败，也不会导致整个 pipeline 失败。如果你希望 job 失败时 pipeline 也失败，可以将其设置为 true。

#!groovy
pipeline {
   
    options {
   
        buildDiscarder(logRotator(numToKeepStr: '50', daysToKeepStr: '100'))
    }
    agent {
    label "ubuntu" }

    parameters {
   
        choice(name: 'branch', choices: ["main","feature"])
        choice(name: "Environment", choices: ["cert", "dev", "prod"])
        string(name: 'project_name', defaultValue: 'Cert XXX', description: 'example : Cert XXX, Prod XXX')
        choice(name: "sheet_name", choices: ["sheet 1", "sheet 2", "sheet 3"