CMake之创建和运行测试

已于 2024-07-06 22:22:05 修改
阅读量1.5k 收藏 6
点赞数
分类专栏： CMake开发 文章标签： linux 运维 服务器 软件构建
于 2023-03-30 11:17:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010378559/article/details/129852280
版权

目录


我们承担ROS，FastDDS等通信中间件，C++，cmake等技术的项目开发和专业指导和培训，有10年+相关工作经验，质量有保证，如有需要请私信联系。

本文主要记录CTest的用法，以及常用的内存/线程/CPU检测工具在CMake中的集成和使用。通过ctest --help可以查询到详细命令信息

CTest

CTest是CMake的测试工具，通过两个命令 enable_testing() 和 add_test() 创建构建树来进行测试，运行ctest后会跑用例并报告结果。
CTest遵循的标准约定是返回零意味着成功，非零为失败。可以返回零或非零的脚本，都可以做测试用例。
流程：

  1. 编译生成测试程序
  2. cmake中include(CTest)之后，使用命令enable_test() 开启测试
  3. cmake中使用add_test 添加测试
  4. 编译成功后命令行调用ctest执行测试

命令

  • enable_testing() 测试这个目录和所有子文件夹；这条命令会自动将CTest模块加载进来，除非BUILD_TESTING 选项被设置成off；
  • add_test： 定义一个新的测试，并设置测试名称和运行命令，该测试将被CTest运行。
add_test(
         NAME <name>  # 测试名
         COMMAND <command> [<arg>...]  # 指定测试命令行，以及这个命令的参数
         [CONFIGURATIONS <config>...] 
         [WORKING_DIRECTORY <dir>] # 要执行的测试文件的路径，如果没有指定就按在当前目录下运行
         [COMMAND_EXPAND_LISTS]
         )

示例代码

# 编译的可执行测试程序
add_test(
  NAME cpp_test
  COMMAND $<TARGET_FILE:cpp_test>
)
# 通过sh脚本调用测试程序，生成器表达式为test.sh的脚本参数
add_test(
    NAME bash_test
    COMMAND ${BASH_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test.sh $<TARGET_FILE:sum_up>
)

${BASH_EXECUTABLE}是通过find_program查找到的bash程序。同理，可以通过python调用（test.py后面的均为脚本参数）：

add_test(
    NAME python_test_long
    COMMAND ${Python3_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test.py --executable $<TARGET_FILE:sum_up>
)
  • 为测试设置属性
set_tests_properties(test1 [test2...] PROPERTIES prop1 value1 prop2 value2)

如果没有找到，ctest会报错。测试属性有这些，常用属性有以下：

  1. TIMEOUT：设置测试超时时间
# test.py
import sys
import time
time.sleep(12)
sys.exit(0)

find_package(PythonInterp REQUIRED)
enable_testing()
add_test(example ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test.py)
set_tests_properties(example PROPERTIES TIMEOUT 10)

超时导致测试fail

  1. WILL_FAIL：转换成功与失败
# test.py
import sys
sys.exit(1)

# CMakeLists.txt
enable_testing()
add_test(example ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test.py)
set_tests_properties(example PROPERTIES WILL_FAIL true)

将fail转换为pass

  1. COST：设置测试时间，示例参考并行测试
  2. LABELS：贴标签，可以在测试程序运行阶段按标签测试，避免不需要运行的测试：ctest -L <your labels>
  3. 设置测试固件: FIXTURES_SETUP, FIXTURES_REQUIRED, FIXTURES_CLEANUP ，示例参考测试固件

运行测试

  1. 在build目录（构建目录）下运行：ctest
  2. 使用CLI命令：cmake --build . --target test

并行测试

CTest可以支持并行测试

  • 命令行 ctest --parallel N 在N个内核上运行测试集，还可以使用环境变量 CTEST_PARALLEL_LEVEL 将其设置为所需的级别。
    测试python脚本如下：
import sys
import time
time.sleep(0.5) # 消耗时间分别为：a、b、c、d为0.5，e、f、g为1.5，h为2.5，i为3.5，j为4.5
sys.exit(0)

enable_testing()
add_test(a ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/a.py)
...
add_test(j ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/j.py)

ctest：
在这里插入图片描述
ctest --parallel 4：
在这里插入图片描述
从验证结果可以得出：
耗时最长的几个测试同时进行并最开始执行，最后运行最短的测试，总测试时间会显著减少。

  • 通过属性指定测试耗时时间
add_test(a ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/a.py)
...
add_test(d ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/d.py)
set_tests_properties(a b c d PROPERTIES COST 0.5)
...
add_test(j ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/j.py)
set_tests_properties(j PROPERTIES COST 4.5)
  • 但这种方式也是序列化执行，和第一种方式一样，耗时时间也很长，实测比第一种方式时间更长一点

运行子集

import sys
import time
time.sleep(0.1) # sleep时间根据情况改动
sys.exit(0)

enable_testing()
add_test(
  NAME feature-a
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/a.py
  )
add_test(
  NAME feature-b
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/b.py
  )
add_test(
  NAME feature-c
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/c.py
  )
add_test(
  NAME benchmark-d
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/d.py
  )
add_test(
  NAME benchmark-e
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/e.py
  )
add_test(
  NAME benchmark-f
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/f.py
  )
set_tests_properties(
    feature-a feature-b feature-c PROPERTIES LABELS "quick"
)
set_tests_properties(
    benchmark-d benchmark-e benchmark-f PROPERTIES LABELS "long"
)

通过属性LABELS 指定子集，可以通过ctest -L指定要运行的子集，这样其他部分不需要执行，如执行 ctest -L long则只运行benchmark-d、benchmark-e、benchmark-f这三个测试。
另外，还可以通过ctest -R指定名称运行测试，如ctest -R feature只运行feature*相关的几个测试。

测试固件

enable_testing()
add_test(
  NAME setup
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/a.py
)
set_tests_properties(
  setup PROPERTIES FIXTURES_SETUP my-fixture
)
# 以上 为setup属性设置为FIXTURES_SETUP 
add_test(
  NAME feature-b
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/b.py
)
add_test(
  NAME feature-c
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/c.py
)
set_tests_properties(
  feature-b feature-c PROPERTIES FIXTURES_REQUIRED my-fixture
)
# 将feature-b和feature-c设置为FIXTURES_REQUIRED 
add_test(
  NAME cleanup
  COMMAND ${PYTHON_EXECUTABLE} ${CMAKE_CURRENT_SOURCE_DIR}/test/d.py
)
set_tests_properties(
  cleanup PROPERTIES FIXTURES_CLEANUP my-fixture
)
# 为cleanup设置为cleanup

使用测试固件后不管是运行 ctest （测试全部）还是运行 ctest -R feature-a（运行部分测试）都会先后执行预设的部分，类似gtest中的Setup和TearDown

使用GoogleTest

构建

本地gtest构建

这种方式是先在本地构建GoogleTest，然后在target_include_directories和target_link_libraries等命令中指定头文件和库的路径，使用举例如下：

target_include_directories(
                     ${TARGET}
                     PUBLIC
                     ${GTEST_DIR}/googletest-1.13.0/googletest/include
                     ${GTEST_DIR}/googletest-1.13.0/googlemock/include
                     # ...
                     )

target_link_libraries(
                      ${TARGET}
                      PUBLIC 
                      ${GTEST_DIR}/googletest-1.13.0/build/lib/libgtest.a
                      )  # 这一行必须要指定到.a才有效

这样在编译目标可执行文件时就可以本地查看和链接googltest相关文件了

构建时下载

使用FetchContent模块在项目构建时下载。CMakeLists.txt中写法如下：
首先，包含FetchContent模块，并使用FetchContent模块命令下载指定的googletest：

include(FetchContent)
FetchContent_Declare(
  googletest
  GIT_REPOSITORY https://github.com/google/googletest.git
  GIT_TAG origin/main
)

FetchContent_MakeAvailable(googletest)

然后，在链接时直接使用gtest_main，gtest， gmock_main, gmock库，不需要在target_include_directories中指定头文件的目录

add_executable(${TARGET_NAME})
target_link_libraries(
    ${TARGET_NAME}
    PUBLIC
    gtest_main
)

测试

使用ctest

继续使用ctest测试gtest的ut用例，cmake写法如下：

include(CTest)
enable_testing()
add_test(
    NAME ${TEST_EXE}
    COMMAND $<TARGET_FILE:${TEST_NAME}>
)

这种方式在运行ctest之后，不管有几条用例，输出结果只有一条：

aa@gg:~/data/ilearning/code/study/CMake/project_cmaketest/build$ ctest
Test project /home/aa/data/ilearning/code/study/CMake/project_cmaketest/build
    Start 1: ctest_test
1/1 Test #1: ctest_test..................   Passed    0.01 sec

100% tests passed, 0 tests failed out of 1

Total Test time (real) =   0.01 sec

使用gtest

这种方式使用GoogleTest模块提供的gtest_discover_tests。gtest_discover_tests是CMake中用于自动发现GoogleTest测试的函数，它会自动扫描目标二进制文件中的测试，并为每个测试生成一个CMake测试。完整签名如下：

gtest_discover_tests(<test_target>
                     [TEST_PREFIX <prefix>]
                     [TEST_SUFFIX <suffix>]
                     [TEST_LIST <list_var>]
                     [NO_PRETTY_TYPES]
                     [NO_PRETTY_VALUES]
                     [PROPERTIES <prop1> <value1>...]
                     [DISCOVERY_TIMEOUT <timeout>]
                     [XML_OUTPUT_DIR <xml_output_dir>]
                     [WORKING_DIRECTORY <dir>]
                     )

其中，

  • <test_target> 是目标测试二进制文件。
  • TEST_PREFIX 和 TEST_SUFFIX 用于指定测试名称的前缀和后缀。
  • TEST_LIST 用于返回一个包含所有测试的变量。
  • NO_PRETTY_TYPES 和 NO_PRETTY_VALUES 用于关闭测试名称的美化。
  • PROPERTIES 用于设置测试属性。
  • DISCOVERY_TIMEOUT 用于设置发现测试的超时时间。
  • XML_OUTPUT_DIR 用于设置XML测试报告的输出目录。
  • WORKING_DIRECTORY 用于设置测试的工作目录。

CMakeLists.txt中写法如下：

enable_testing()
include(GoogleTest)
gtest_discover_tests(${TEST_NAME})  # TEST_NAME即为测试用例代码编译的可执行文件

在运行ctest之后，会输出每条测试用例的结果，同单独运行测试程序结果一样，如下所示：

aa@gg:~/data/ilearning/code/study/CMake/project_cmaketest/build$ ctest
Test project /home/aa/data/ilearning/code/study/CMake/project_cmaketest/build
      Start  1: OneTest.funca_test
 1/36 Test  #1: OneTest.funca_test...................   Passed    0.01 sec
      Start  2: OneTest.funca_test_01
 2/36 Test  #2: OneTest.funca_test_01................   Passed    0.01 sec
      Start  3: OneTest.funca_test_02
 3/36 Test  #3: OneTest.funca_test_02................   Passed    0.01 sec
      Start  4: OneTest.funcb_test
 4/36 Test  #4: OneTest.funcb_test...................   Passed    0.01 sec
...

使用valgrind检测内存

一些工具如代码覆盖率和静态分析工具，可以进行类似地设置，一些使用更为复杂的工具需要专门的构建和工具链，如valgrind, Sanitizers。
valgrind用法示例：

...
find_program(MEMORYCHECK_COMMAND NAMES valgrind)
set(MEMORYCHECK_COMMAND_OPTIONS "--trace-children=yes --leak-check=full")
include(CTest)
enable_testing()
add_test(
    NMAE cpp_test
    COMMAND $<TARGET_FILE:cpp_test>
)

在构建目录下命令行运行：ctest -T memcheck 检测内存问题

使用ASAN检测内存

cmake只需添加如下代码即可：

set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -fsanitize=address")  # 如果是C语言用CMAKE_C_FLAGS替代CMAKE_CXX_FLAGS

通常只在调试阶段启用它，而在发布版本中禁用它。可以使用CMake的CMAKE_BUILD_TYPE变量来区分这两种情况

if (CMAKE_BUILD_TYPE STREQUAL "Debug")
  set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -fsanitize=address")
  set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -fsanitize=address")  # 这一行不知道有什么用
endif()

检测内容可以参考这里

使用TSAN检测线程

General_G
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CMake Test编写
young_monkeysun的博客
03-27 1285
项目目录如下sum_integers为项目源文件。main为从命令行获取测试数据并调用sum_integers的功能，并返回计算结果。test为在test文件中设定测试数据，并调用相应的程序将测试数据传输给main的可执行文件。由main可执行程序计算，并返回计算结果。test获取计算结果，根据test文件中的设定，判断测试成功与否。PRIVATE# 查找valgrind，并将MEMORYCHECK_COMMAND设置为其绝对路径# 将相关参数传递给valgrind。
CMake I 创建一个简单的单元测试
该用户还没想到好的昵称的博客
01-25 7050
创建一个简单的单元测试。ctest命令、add_test()、enable_testing()。
【CMake】CMake入门（四）生成器表达式 安装与测试 系统特性检测 自定义命令以及输出文件
最新发布
一点一点变好
05-31 1118
CTest是CMake的测试工具，它可以自动化运行单元测试，收集测试结果并生成报告。使用方式根目录加。使用add_test添加测试。使用添加测试的属性# 用法 关键字 测试名称 关键字 执行的命令 参数# 示例# 用法 测试名称 关键字 属性 值# 示例这里PROPERTIES可以设置的参数有很多，这里设置的表示以正则表达式进行匹配结果。在Linux中，有许多的工具命令，例如lsmvmkdir等。
【Cmake】Ctest测试工具
bandaoyu的note
08-08 6224
CTest是CMake集成的一个测试工具，在使用CMakeLists.txt文件编译工程的时候，CTest会自动configure、build、test和展现测试结果。创建CTestConfig.cmake在上层目录中，在cmake文件中，我们可以声明项目的名字和上传到的地址。原文链接：https://blog.csdn.net/xu_yun_huan_yue/article/details/120155307。2. 在test/CMakeLists.txt中写你的测试需要的即可（可以如下面那样写）....
如何使用CMake的CTest进行单元测试
目前在做 ROS相关的工作，主要是写ROS相关和C++的学习心得
04-21 5204
CMake是一个跨平台的构建工具，可以自动生成与平台相关的Makefile或Visual Studio项目文件，简化了C++程序的构建过程。而CTest是CMake的测试工具，它可以自动化运行单元测试，收集测试结果并生成报告。
CMake测试
dxa572862121的博客
05-19 1539
简单示例 如果想执行几个可执行的程序或是执行相同的可执行程序但添加不同的参数，可以使用CTest工具，CMake自带CTest和CPack。 cmake doc ctest. add_test. enable_testing. 添加两个可执行程序 目的：对两个不同的cpp文件生成不同的可执行文件。并同时执行ctest CMakeLists.txt #版本要求，如若没有此句代码，可能会发生错误 cmake_minimum_required(VERSION 3.4) project(te
cmake 测试
jason的笔记
07-10 827
首先写一个简单的c语言程序 通过cmake 生产makefile，然后再通过makefile 来编译程序，并运行那个程序 cmake 和makefile后执行后的目录
CMake创建CTest工程
ribishuangba
10-04 394
在CMake工程顶层目录内的CMakeLists.txt文件中添加最后一行，使得目录结构中包含test目录，并且编译完成时会在build目录下产生test_bin目录。 cmake_minimum_required(VERSION 2.8) project (your_project_name) add_subdirectory(src bin) add_subdirectory(test tes...
CMake的安装和测试
CAir2的专栏
07-29 532
cmake测试
cmake 测试总结
weixin_38606457的博客
09-24 198
cross.cmake SET(CROSS_COMPILE 1) IF(CROSS_COMPILE) SET(CMAKE_SYSTEM_NAME Linux) SET(TOOLCHAIN_DIR "/opt/toolchain") set(CMAKE_CXX_COMPILER ${TOOLCHAIN_DIR}/bin/arm-openwrt-linux-gnueabi-g++) set(CMAKE_C_COMPILER ${TOOLCHAIN_DIR}/bin/arm-openwrt-linux.
cmake创建多工程例子
12-24
- 首先在项目根目录下运行`cmake -H. -Bbuild`生成构建系统。 - 然后使用`cd build && make`或根据平台的特定构建工具进行构建。 对于`Qt`的集成，`CMake`提供了`FindQt5.cmake`模块，帮助我们找到`Qt`的安装路径...
cmakeTest.zip
12-10
cmakeTest.zip
cmake的测试pytest
02-12
Pytest是Python社区广泛使用的测试框架，它提供了丰富的功能，如自动发现测试、参数化测试、断言改进等，使得编写和运行测试变得更加简单和灵活。 描述中提到，这个存储库是为了测试CMake如何构建Python Wheel文件...
cmake工程框架，带gtest单元测试
06-21
总的来说，这个"cmake工程框架，带gtest单元测试"项目为C++开发者提供了一个标准的模板，用于组织和测试项目代码，它强调了良好的软件工程实践，包括代码可测试性、模块化和自动化测试的重要性。
cmake 测试例子
01-20
在这个“cmake测试例子”中，我们可能看到一个包含多个工程和库的结构，这些工程和库通过CMakeLists.txt文件进行配置和链接。 在CMake中，每个项目的根目录下都有一个CMakeLists.txt文件，它是CMake的配置脚本，...
JUCE-CmakeWrapper:一个Cmake API，可通过单元测试，自动启动可执行文件和pluginval集成轻松创建JUCE项目
04-17
一个Cmake API，可通过单元测试，pluginval，CPack和自动启动可执行集成轻松创建JUCE项目 大家好！ 此仓库是自定义CMake API，它包装了JUCE CMake API，并提供了一些额外的功能，例如使用Catch2进行单元测试，并在...
关于cmake的简单实用以及测试案例
qq_19533461的博客
07-31 568
1.首先安装cmake,譬如 yum install cmake 2.书写CMakeLists.txt cmake_minimum_required(VERSION 3.0) project(cdncache) set(CMAKE_CXX_STANDARD 11) set(CMAKE_BUILD_TYPE "DEBUG") 下面的打开后剋一打印出错误的详细信息，或者进行debug g...
cmake与ninja构建编译(二)
Android系统攻城狮
03-17 9050
1.安装ninja cmake # sudo apt install cmake ninja 2.demo # emacs main.cpp #include <iostream> int main() { std::cout << "Hello, Ninja!" << std::endl; return 0; } # emacs CMakeLis...
创建cmake项目测试
09-14
你好！要创建一个CMake项目，你可以按照以下步骤进行操作： 1. 首先，创建一个包含源代码文件的项目目录。在该目录下，你可以创建一个名为 `CMakeLists.txt` 的文件作为项目的构建脚本。 2. 打开 `CMakeLists.txt` 文件，并添加以下内容作为基本的项目设置： ``` cmake_minimum_required(VERSION 3.0) project(MyProject) # 添加可执行文件 add_executable(my_executable main.cpp) ``` 3. 将你的源代码文件（例如 `main.cpp`）放置在项目目录中。 4. 接下来，打开终端，并切换到项目目录。运行以下命令来生成构建系统所需的文件： ``` cmake . ``` 5. 生成后，你将在项目目录中看到一个名为 `Makefile` 的文件（或者是其他构建系统所需的文件）。运行以下命令来构建项目： ``` make ``` 6. 构建完成后，你可以在项目目录中找到可执行文件（例如 `my_executable`）。运行它以测试你的项目： ``` ./my_executable ``` 这样就完成了一个简单的CMake项目的创建和测试。你可以根据自己的需要添加更多的源文件和其他CMake选项。希望对你有所帮助！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值