交代背景与动机
近期组里承接了实验室举办的“无人车安全驾驶仿真赛”的筹备工作,需要将OpenDRIVE格式的地图数据以SDK的形式提供给内部评价服务和外部参赛队伍使用。SDK采用的是C和C++编写,最终提供跨平台的C动态库,目前是由组内一个童鞋负责。随着deadline迫近,项目滞后拖了后腿,所以老板让我帮忙Review代码和推进进度。
通过观察,该童鞋在跨平台工程的构建和CVS的使用相当原始,几乎全靠手动操作,由于粗心导致各种低级错误频发,严重影响编码和发版效率。鉴于上述,磨刀不误砍柴工,我首先用CMake重构了项目构建流程,配合GitLab的CI/CD做到自动化编译、测试和简单的发版。
CMake是什么
下述是CMake官网对CMake的定义,CMake是对代码进行编译、测试和打包的make工具。
CMake is an open-source, cross-platform family of tools designed to build, test and package software
大家或多或少接触过不少Make工具吧,比如Linux平台的GNU Make,QT的qmake,Windows平台的nmake,为不同平台编写不同的Makefile学习成本和维护成本都很高,因此CMake的跨平台是很优秀的feature。
CMake重构地图SDK项目
我们以地图SDK项目为例,简单描述如何使用CMake来生成C语言动态库,包括编译、测试和安装三个核心步骤。
下图是重新组织后的工程目录,src和test文件夹存放源代码和测试代码,data和docs文件夹存放数据和文档,build是out-of-source外部编译文件夹,CI则存放了GitLab-Runner的Linux docker配置文件。
![b517d200087ab72f9d3b0e2785fec413.png](https://img-blog.csdnimg.cn/img_convert/b517d200087ab72f9d3b0e2785fec413.png)
CMake项目的具体构建是在CMakeLists.txt文件中描述,下面是工程根目录所在的CMake脚本,基本使用的语法并不复杂,此处我使用CMake ctest来进行测试支持。
cmake_minimum_required(VERSION 3.5)
project(vts_map)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_STANDARD_REQUIRED OFF)
set(CMAKE_CXX_EXTENSIONS OFF)
# Just be convenient for Visual Studio test
set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ${CMAKE_BINARY_DIR}/runtime)
add_subdirectory(src)
add_subdirectory(test)
if(UNIX)
find_program(MEMORYCHECK_COMMAND NAMES valgrind)
include(Dart)
if (MEMORYCHECK_COMMAND-FOUND)
set(MEMORYCHECK_COMMAND_OPTIONS "--trace-children=yes")
set(MEMORYCHECK_COMMAND_OPTIONS "${MEMORYCHECK_COMMAND_OPTIONS} --leak-check=full")
endif()
endif()
enable_testing()
add_test(NAME map_test
COMMAND $<TARGET_FILE:VTSMapInterfaceTest> -o ${CMAKE_BINARY_DIR}/Testing/Temporary/report.xml -r junit
WORKING_DIRECTORY ${CMAKE_SOURCE_DIR}/data)
借助GitLab实现C/C++项目的CI/CD
GitLab CI/CD 是GitLab内置的强大工具,允许您将所有连续方法(持续集成,交付和部署)应用于您的软件,而无需集成或使用第三方应用程序。
首先我们需要配置GitLab-Runner,它是脚本执行的承载者,地图SDK最终需要交付Windows版本和Linux版本,所以我分别配置了Windows(物理机)和Linux(Docker容器)的Runner。
CI/CD的具体工作流程则是由yaml配置文件来描述,借助CMake工具定义了一系列Job,对工程进行自动化编译、单元测试、动态库发布,既能一定程度保证工程质量,又能将开发从频繁手动发版的重复工作中释放出来。
下面是地图工程的yaml配置脚本,着重在于示意,并未提供Windows平台的Job描述,与Linux平台基本是一致的。目前包括三个阶段的Job:CMake执行代码编译,ctest执行单元测试和内存泄漏检查,CMake执行安装和打包。当然,类似代码风格检查、编译失败邮件通知、PDB符号表保存、动态库版本写入等Job也是可以很方便地添加到Pipeline中。
stages:
- build
- test
- analyze
- deploy
linux_build:
image: ci_vtsmap:latest
tags:
- Linux
stage: build
script:
- cd vts_map_interface && mkdir build && cd build
- cmake .. && cmake --build . --config RelWithDebInfo
artifacts:
paths:
- vts_map_interface/build
expire_in: 1 day
linux_test:
image: ci_vtsmap:latest
tags:
- Linux
stage: test
dependencies:
- linux_build
script:
- cd vts_map_interface/build
- ctest -C RelWithDebInfo
- ctest -T memcheck
artifacts:
paths:
- vts_map_interface/build/Testing/Temporary/*
reports:
junit:
- vts_map_interface/build/Testing/Temporary/report.xml
when: always
linux_deploy:
image: ci_vtsmap:latest
tags:
- Linux
stage: deploy
dependencies:
- linux_build
script:
- cd vts_map_interface/build
# Ugly solution for artifacts path
- cmake --install . --config RelWithDebInfo --prefix ..
artifacts:
name: "$CI_PROJECT_NAME-$CI_COMMIT_REF_NAME-$CI_RUNNER_TAGS-$CI_PIPELINE_ID"
paths:
- vts_map_interface/include
- vts_map_interface/lib
when: manual
GitLab提供了Pipeline和Jobs查看页面,可以很方便地查看各个Job的运行结果。
![e46bbc835de2d756f6f1aa68f1cd1bf3.png](https://img-blog.csdnimg.cn/img_convert/e46bbc835de2d756f6f1aa68f1cd1bf3.png)
![823990dcb3c3a328681ede14b148ac8f.png](https://img-blog.csdnimg.cn/img_convert/823990dcb3c3a328681ede14b148ac8f.png)
小结
总体而言,项目代码量比较小,结构也简单,因此我觉得可以作为C/C++初学者的示例工程,意在体现整体Pipeline,这也是我写这篇文章的初衷和动机。