Allure 与 CI/CD 工具集成：提升软件测试与交付流程

三带俩王

于 2024-09-30 13:45:40 发布

阅读量375

点赞数 14

文章标签： ci/cd

本文链接：https://blog.csdn.net/liuhailong0511/article/details/142653816

版权

在现代软件开发的持续集成 / 持续交付（CI/CD）流程中，测试报告的质量和可访问性对于确保软件质量至关重要。Allure，作为一款强大的测试报告框架，与 CI/CD 工具的集成能够带来诸多优势，如更高效的测试管理、更快的问题定位以及更顺畅的软件交付流程。本文将深入探讨 Allure 与 CI/CD 工具集成的各个方面，包括其概念、关键要点、常见的集成方式以及实际的应用案例。

一、Allure 与 CI/CD 集成的概念

1. CI/CD 概述

持续集成（CI）是一种开发实践，要求开发人员频繁地将代码集成到共享的代码库中，每次集成都会通过自动化构建和测试流程来验证代码的正确性。持续交付（CD）则是在 CI 的基础上，确保软件可以随时可靠地发布到生产环境。CI/CD 流程涉及到多个工具和环节，包括代码仓库（如 Git）、构建工具（如 Maven、Gradle 或 Jenkins 等）、测试框架以及部署工具等。

2. Allure 在 CI/CD 中的角色

Allure 在这个流程中扮演着测试结果可视化和管理的关键角色。它能够收集不同测试框架（如 JUnit、TestNG、Pytest 等）执行过程中的详细信息，并生成丰富、交互式的测试报告。当与 CI/CD 工具集成时，Allure 可以将这些报告自动发布到 CI/CD 的流程中，使得团队成员能够方便地查看测试结果，从而及时发现问题并做出决策。

二、关键要点

1. 自动报告生成与发布

在 CI/CD 管道中，每次代码变更触发构建和测试流程后，Allure 能够自动根据测试结果生成详细的报告。例如，在使用 Jenkins 作为 CI 服务器时，配置好 Allure 插件后，Jenkins 会在构建任务执行测试后自动调用 Allure 命令生成报告。
这些报告需要能够自动发布到团队成员可以访问的位置，常见的是将报告发布到 CI/CD 工具的特定页面或者一个独立的测试报告服务器上。这确保了所有相关人员，包括开发人员、测试人员和项目经理等，都能够及时查看测试结果，无需手动去查找和分析测试数据。

2. 与不同 CI/CD 工具的兼容性

Allure 具有良好的兼容性，可以与多种流行的 CI/CD 工具集成，如 Jenkins、GitLab CI/CD、Travis CI 等。不同的 CI/CD 工具有不同的配置方式和工作流程，Allure 需要能够适应这些差异，以实现无缝集成。
例如，在 GitLab CI/CD 中，需要在.gitlab - ci.yml文件中配置相应的脚本，以安装 Allure 命令行工具、执行测试并生成报告，然后将报告发布到 GitLab 的页面上。而在 Jenkins 中，则是通过安装 Allure 插件，并在构建任务的配置中设置 Allure 报告的路径等参数。

3. 历史数据保留与趋势分析

集成后的 Allure 报告应能够保留历史测试数据，这对于跟踪软件质量的长期趋势非常重要。通过分析历史数据，可以发现软件质量是在逐步提高还是下降，以及哪些功能模块的稳定性存在问题。
在 CI/CD 环境中，可以设置专门的存储机制来保存 Allure 报告的历史数据。例如，使用专门的文件服务器或者数据库来存储每次构建生成的 Allure 报告数据，然后通过定制的脚本或者工具来进行数据挖掘和趋势分析。

4. 与测试框架的协同工作

Allure 与各种测试框架（如前面提到的 JUnit、TestNG、Pytest 等）紧密协同工作是集成的重要基础。在 CI/CD 流程中，不同的项目可能使用不同的测试框架，但 Allure 都应该能够准确地收集测试框架产生的测试数据，并转化为统一格式的报告。
这要求在项目的构建脚本中正确配置测试框架与 Allure 的集成。例如，在使用 Pytest 和 Allure 集成时，需要在pytest.ini文件中设置相关的 Allure 插件参数，确保 Pytest 在执行测试时能够将测试数据传递给 Allure 进行报告生成。

三、常见的集成方式

1. Jenkins 与 Allure 集成

安装 Allure 插件：

登录 Jenkins 管理界面，进入 “插件管理”。
在 “可选插件” 中搜索 “Allure”，选择 “Allure Jenkins Plugin” 并安装。

配置构建任务：

在 Jenkins 的构建任务配置中，找到 “构建环境” 或 “构建后操作” 部分（具体位置取决于 Jenkins 版本）。
在 “构建后操作” 中添加 “Allure Report” 步骤。
设置 Allure 报告的路径，通常是测试执行后 Allure 报告生成的目录。例如，如果在项目的target目录下生成 Allure 报告，可以设置路径为${WORKSPACE}/target/allure - results。

示例构建脚本（以 Maven 项目为例）：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema - instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven - v4_0_0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>
    <artifactId>my - project</artifactId>
    <version>1.0 - SNAPSHOT</version>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven - surefire - plugin</artifactId>
                <version>2.22.2</version>
                <configuration>
                    <properties>
                        <property>
                            <name>listener</name>
                            <value>org.apache.maven.surefire.extensions.junit5.JUnit5SurefireExtension</value>
                        </property>
                    </properties>
                </configuration>
            </plugin>
        </plugins>
    </build>

    <dependencies>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit - jupiter</artifactId>
            <version>5.7.0</version>
        </dependency>
        <dependency>
            <groupId>io.qameta.allure</groupId>
            <artifactId>allure - junit5</artifactId>
            <version>2.13.8</version>
        </dependency>
    </dependencies>

</project>

在这个示例中，Maven 项目使用了 JUnit 5 作为测试框架，并引入了 Allure - JUnit5 依赖。在 Jenkins 构建任务中，执行mvn clean test命令时，Surefire 插件会运行测试，Allure - JUnit5 会收集测试数据，然后 Jenkins 的 Allure 插件会根据指定路径生成并展示 Allure 报告。

2. GitLab CI/CD 与 Allure 集成

配置`.gitlab - ci.yml`文件：

image: maven:3.6.3 - jdk - 11

stages:
  - test
  - report

test:
  stage: test
  script:
    - mvn clean test
    - mkdir -p allure - results
    - find. - type f - name "*.xml" - exec cp {} allure - results \;
    - allure generate allure - results - o allure - report

report:
  stage: report
  artifacts:
    paths:
      - allure - report
  only:
    - master

在这个.gitlab - ci.yml文件中：

首先定义了使用的 Docker 镜像为maven:3.6.3 - jdk - 11。
构建流程分为两个阶段：“test” 和 “report”。
在 “test” 阶段，执行mvn clean test命令进行测试，然后创建allure - results目录，将测试结果的 XML 文件（假设测试框架会生成 XML 格式的结果文件）复制到该目录下，最后使用 Allure 命令行工具生成报告到allure - report目录。
在 “report” 阶段，将allure - report目录作为制品（artifacts）保存起来，并且设置只有在master分支上的构建才执行这个阶段。这样，团队成员可以在 GitLab 的 CI/CD 页面上查看 Allure 报告。

3. Travis CI 与 Allure 集成

配置`.travis.yml`文件：

language: java
jdk:
  - openjdk11

install:
  - mvn install - DskipTests=true - Dmaven.javadoc.skip=true - B - V

script:
  - mvn test

after_script:
  - mkdir -p allure - results
  - find. - type f - name "*.xml" - exec cp {} allure - results \;
  - allure generate allure - results - o allure - report
  - curl - F "file=@allure - report/index.html" https://example.com/upload - report.php # 假设存在一个自定义的脚本来上传报告到指定位置

在这个.travis.yml文件中：

定义了项目使用的语言为java，并且使用openjdk11版本。
在 “install” 阶段，安装项目的依赖，但跳过测试和 Javadoc 生成以节省时间。
在 “script” 阶段执行测试。
在 “after_script” 阶段，创建allure - results目录，复制测试结果文件，生成 Allure 报告，最后通过自定义的脚本将报告上传到指定的位置（这里只是一个示例，实际应用中可能需要根据具体的需求进行修改）。

四、应用案例

1. 大型企业级项目中的应用

项目背景

假设我们有一个大型企业级的电子商务项目，包含多个模块，如用户管理、商品管理、订单处理、支付系统等。开发团队采用了 GitLab CI/CD 流程，使用 JUnit 5 和 TestNG 作为测试框架对各个模块进行测试。

代码示例 - 用户管理模块的测试（JUnit 5）

import org.junit.jupiter.api.DisplayName;
import org.junit.jupiter.api.Test;
import io.qameta.allure.Description;
import io.qameta.allure.Epic;
import io.qameta.allure.Feature;
import io.qameta.allure.Severity;
import io.qameta.allure.SeverityLevel;

@Epic("电子商务项目 - 用户管理")
@Feature("用户注册功能")
public class UserRegistrationTest {

    @Test
    @DisplayName("测试用户注册 - 正常注册流程")
    @Description("验证用户使用有效信息进行注册时是否成功")
    @Severity(SeverityLevel.CRITICAL)
    public void testUserRegistrationSuccess() {
        // 模拟用户注册操作
        UserRegistrationService userRegistrationService = new UserRegistrationService();
        User user = new User("testuser", "testpassword", "test@example.com");
        boolean registrationResult = userRegistrationService.register(user);
        // 使用断言验证结果
        assert registrationResult;
    }

    @Test
    @DisplayName("测试用户注册 - 重复注册")
    @Description("验证用户使用已存在的用户名进行注册时是否失败")
    @Severity(SeverityLevel.MEDIUM)
    public void testUserRegistrationDuplicate() {
        // 模拟用户注册操作
        UserRegistrationService userRegistrationService = new UserRegistrationService();
        User user = new User("existinguser", "testpassword", "test@example.com");
        boolean registrationResult = userRegistrationService.register(user);
        // 使用断言验证结果
        assert!registrationResult;
    }
}

代码示例 - 商品管理模块的测试（TestNG）

import org.testng.annotations.Test;
import io.qameta.allure.Description;
import io.qameta.allure.Epic;
import io.qameta.allure.Feature;
import io.qameta.allure.Severity;
import io.qameta.allure.SeverityLevel;

@Epic("电子商务项目 - 商品管理")
@Feature("商品添加功能")
public class ProductAdditionTest {

    @Test
    @Description("验证管理员添加商品时是否成功")
    @Severity(SeverityLevel.CRITICAL)
    public void testProductAddition() {
        // 模拟商品添加操作
        ProductManagementService productManagementService = new ProductManagementService();
        Product product = new Product("Test Product", 10.99, "This is a test product");
        boolean additionResult = productManagementService.addProduct(product);
        // 使用断言验证结果
        assert additionResult;
    }
}

CI/CD 集成后的工作流程及效果

每次开发人员将代码推送到代码仓库时，都会触发 GitLab CI/CD 的构建和测试流程。例如，当开发人员对用户管理模块的注册功能进行了修改并提交代码后，GitLab CI/CD 会按照.gitlab - ci.yml文件中的配置执行操作。
在测试阶段，JUnit 5 和 TestNG 会运行各自的测试用例。由于在测试类中已经集成了 Allure 相关的注解，如@Epic、@Feature、@Description等，这些测试框架在执行测试时会将相关的测试数据传递给 Allure。
在测试完成后，根据.gitlab - ci.yml中的脚本，会创建allure - results目录，收集测试结果的 XML 文件并生成 Allure 报告到allure - report目录，最后将这个目录作为制品保存起来。
测试团队可以通过 GitLab 的 CI/CD 页面方便地查看 Allure 报告。例如，在一次重大功能更新后的构建中，通过 Allure 报告的历史数据对比，发现某个商品搜索功能的测试失败率突然上升。通过查看详细的测试步骤和附件（如请求和响应数据），发现是由于新的搜索算法与部分商品数据格式不兼容导致的。
项目经理可以根据 Allure 报告中的测试覆盖率、缺陷数量等指标来评估项目的整体质量，并决定是否可以将代码发布到生产环境。

2. 开源项目中的应用

项目背景

考虑一个开源的 Web 应用框架项目，社区成员来自世界各地，使用 Travis CI 作为 CI 工具，Pytest 作为测试框架对框架的各个功能进行测试。

代码示例 - 路由功能测试（Pytest）

import pytest
import allure


@allure.feature("Web应用框架 - 路由功能")
@allure.story("基本路由测试")
def test_basic_routing():
    app = create_app()
    client = app.test_client()

    with allure.step("发送GET请求到根路由"):
        response = client.get('/')
    with allure.step("验证响应状态码为200"):
        assert response.status_code == 200
    with allure.step("验证响应内容包含特定文本"):
        assert "Welcome to the Web App" in response.data.decode('utf - 8')


@allure.feature("Web应用框架 - 路由功能")
@allure.story("动态路由测试")
def test_dynamic_routing():
    app = create_app()
    client = app.test_client()

    with allure.step("发送GET请求到动态路由，例如 /user/1"):
        response = client.get('/user/1')
    with allure.step("验证响应状态码为200"):
        assert response.status_code == 200
    with allure.step("验证响应内容包含特定用户信息"):
        assert "User 1" in response.data.decode('utf - 8')

CI/CD 集成后的工作流程及效果

社区贡献者在提交代码变更时，Travis CI 会自动运行 Pytest 测试。在pytest.ini文件中已经配置好了 Allure - Pytest 插件相关的参数，确保 Pytest 在执行测试时能够将测试数据传递给 Allure。
在测试完成后，Travis CI 会按照.travis.yml文件中的脚本执行操作。创建allure - results目录，复制测试结果文件，生成 Allure 报告，最后通过自定义的脚本将报告上传到指定的位置（假设存在这样一个用于展示报告的服务器或者存储库）。
这些报告对所有社区成员公开，有助于新的贡献者快速了解项目的测试情况。例如，新加入的开发者想要了解路由功能的测试情况，他可以直接查看 Allure 报告，看到每个测试用例的功能、执行步骤以及结果等信息。
在项目的持续发展过程中，通过分析 Allure 报告的历史数据，项目维护者发现某个模块的测试用例执行时间逐渐变长。通过进一步排查，发现是由于该模块依赖的一个外部库版本更新后性能下降导致的。于是，项目维护者及时采取措施，要么优化代码以适应新的库版本，要么回滚到旧版本，确保了项目的性能稳定性。

五、总结

Allure 与 CI/CD 工具的集成是现代软件开发流程中的一个重要环节。通过自动报告生成与发布、与不同 CI/CD 工具的兼容性、历史数据保留与趋势分析以及与测试框架的协同工作等关键要点，Allure 能够在 CI/CD 流程中提供高质量的测试报告，帮助团队成员快速定位问题、评估软件质量，并确保软件的顺利交付。无论是大型企业级项目还是开源项目，这种集成都能够显著提高软件开发的效率和质量。