Travis CI

已于 2023-04-09 16:55:04 修改
阅读量625 收藏
点赞数
分类专栏： 辅助工具 文章标签： ci/cd
于 2023-04-07 09:45:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45605535/article/details/130004848
版权

Travis CI全流程讲解

Travis CI需求

  1. 集成需求-发布需求
    为了便于将某大型XX软件实现Github自动push集成，git tag标签自动发布版本到Github中，经过两天的探索，将我所踩坑之处分享给大家，让大家少走一点弯路。
  2. 集成需求-发布需求
    为了避免每一次编译一个平台都必须在相应的Arm机器、Linux机器、Windows机器进行来回切换，同时也方便开发者能够只专注于某个平台的开发测试，集成Travis CI工作流程，实现全自动化部署和验证。
  3. Windows平台打包exe需求

    chocolate是一个类似于基于Debian系统的包管理器apt,apt install等价于choco install，你可以搜索你想要安装的包。

    • innosetup 这是一个用于打包的编译器，主要用于发布Windows平台的安装程序，此类程序发布软件据我之前的了解就是一个压缩程序而已。innosetup是基于iss文件进行规则指定的，我们通过命令行的方式进行指定和安装。
  4. 冷知识点
    1. VIP用户可以让多个jobs任务并行执行，但是如果你是fork的VIP仓库，你只能串行执行程序。
    2. Travis CI的生命周期本身有限，考虑条件执行的同时，尽量采用原生的脚本进行逻辑判断。
    3. Cache缓存确实可以避免每一次进行安装依赖，但是你的脚本逻辑中一定要考虑到提前终止编译导致某个缓存目录导致的文件不一致问题。
    4. 添加GITHUB_TOKEN的时候请注意一定要像下面一样配置，此处的token设置路径参考下图,请注意**.travis.yml**中部署的token设置一定是api_key: $GITHUB_TOKEN ,刚开始接触的时候，很多网站就是设置token: $GTIHUB_TOKEN,这样子你将在Travis 3.0版本中面临invalid option: "--token=",网上有很多误导说没有设置Travis仓库中的env variable，但是实际上我尝试在deploy模块设置edge: true api_key: secure: $GITHUB_TOKEN依旧是老样子。同时一定要注意github token一定要有write pacakage之类的权限，才能让git push origin v4.2.1这个tag生效并发布。在这里插入图片描述 在这里插入图片描述

脚本部分

你可能需要为我们的C++项目实现多个平台编译的脚本以及相应的虚拟环境,Linux amd x86_64|Linux arm64采用Miniconda3进行虚拟环境配置。

Travis Condtion条件语句语法判断
  1. Travis Condition这是一个用于语法检查的官方网址，我们就不需要一次一次的通过push去检查我们的语法。它是基于ruby的安装工具gem的一个包，对于理解这个条件判断是有用的。
  2. Travis官网解释，其中关于stage、job的条件执行很多还是需要基于我们的bash脚本进行判断，比如我把miniconda安装的位置放到了install stage，但是cache缓存又在install之前，所以每次需要判断是否具有miniconda的文件夹，然后再决定是否需要执行对应的程序。
  3. 虽然上述条件判断不错，尽量向下面一样将判断逻辑写作sh脚本中。
branches:
  only:
    - master
    - /^v.*$/

env:
  - APP_VERSION=`git describe --abbrev=0 --tags`

jobs:
  include:
    - os: linux
      arch: arm64-graviton2
      virt: vm
      sudo: false
      compiler: gcc
      language: cpp
      group: edge
      dist: focal
      cache:
        directories:
          - $HOME/deps
      # 向bash脚本中传递参数
      install:
        - "bash tools/travis-scripts/minicondaDeps.sh $HOME/deps https://repo.anaconda.com/miniconda/Miniconda3-py310_23.1.0-1-Linux-aarch64.sh"
      script:
        - "bash tools/build-linux-arm64.sh"
      before_deploy:
        - mv build/AppDir LinSAR-linux-arm64-$APP_VERSION
        - tar zcvf LinSAR-linux-arm64-$APP_VERSION.tar.gz LinSAR-linux-arm64-$APP_VERSION
      deploy:
        provider: releases # 操作 repo 的 releases 页面
        api_key: $GITHUB_TOKEN # 使用github token验证身份，进行操作
        file:
          - LinSAR-linux-arm64-$APP_VERSION # 上传的文件
        skip_cleanup: true # 要上传文件到 release，所以不能自动清除
        on:
          tags: true #  只有打 tag 时才运行

判断缓存是否存在的逻辑不能在.travis.yml文件中，推荐的做法是在sh脚本文件中完成相应的判断

if [ -d "$1" && -f "$HOME/deps/miniconda/etc/profile.d/conda.sh" ];then
    # Useful for debugging any issues with conda
    source "$HOME/deps/miniconda/etc/profile.d/conda.sh"
    conda info -a
    conda activate openblas
  else
    rm $HOME/deps -rf
    wget "$2" -O miniconda.sh
    bash miniconda.sh -b -p $HOME/deps/miniconda
    source "$HOME/deps/miniconda/etc/profile.d/conda.sh"
    hash -r
    conda config --set always_yes yes --set changeps1 no
    conda update -q conda
    # Useful for debugging any issues with conda
    conda info -a
    # Replace dep1 dep2 ... with your dependencies
    conda env create -n openblas -f tools/link-linux-arm64.yml
    conda activate openblas
fi
linux amd64平台脚本示例；
rm -rf build
mkdir build
cd build

# download and build linuxdeploy qt
git clone https://github.com/probonopd/linuxdeployqt.git
cd linuxdeployqt
cmake -GNinja .
ninja
mv tools/linuxdeployqt/linuxdeployqt ../linuxdeployqt-build
cd ..

# Build link
cmake -GNinja \
      -DCMAKE_PREFIX_PATH=$CONDA_PREFIX \
      -DCMAKE_SYSROOT=$CONDA_PREFIX/$HOST/sysroot \
      -DCMAKE_INSTALL_PREFIX=/usr \
      -DCMAKE_BUILD_TYPE=Release \
      ../

cmake --build . --target install --config Release


# Deploy
export LD_LIBRARY_PATH=".../AppDir/usr/lib/:$CONDA_PREFIX/lib:./lib"

cp $CONDA_PREFIX/lib/libcblas.so.3 ./AppDir/usr/lib/
# Deploy linux binaries
./linuxdeployqt-build ./AppDir/usr/bin/linsar -unsupported-allow-new-glibc -bundle-non-qt-libs -no-copy-copyright-files -qmake=$CONDA_PREFIX/bin/qmake -verbose=2
# ./linuxdeployqt-build

# Second: Must remove X11 server libs manually
rm AppDir/usr/lib/libX11-xcb*
rm AppDir/usr/lib/libXau*
rm AppDir/usr/lib/libxcb*
rm AppDir/usr/lib/libXdmcp*
rm AppDir/usr/lib/libxkbcommon*
rm AppDir/usr/lib/libXrender*
rm AppDir/usr/lib/libXext*

cd ..
linux arm64
 rm -rf build
mkdir build
cd build

# download and build linuxdeploy qt
git clone https://github.com/probonopd/linuxdeployqt.git
cd linuxdeployqt
cmake -GNinja .
ninja
mv tools/linuxdeployqt/linuxdeployqt ../linuxdeployqt-build
cd ..

# Build
cmake -GNinja \
      -DCMAKE_PREFIX_PATH=$CONDA_PREFIX \
      -DCMAKE_SYSROOT=$CONDA_PREFIX/$HOST/sysroot \
      -DCMAKE_INSTALL_PREFIX=/usr \
      -DCMAKE_BUILD_TYPE=Release \
      ../

export DESTDIR=AppDir
cmake --build . --target install --config Release

# Deploy link
export LD_LIBRARY_PATH=".../AppDir/usr/lib/:$CONDA_PREFIX/lib:./lib"

cp $CONDA_PREFIX/lib/libcblas.so.3 ./AppDir/usr/lib/
cp $CONDA_PREFIX/lib/libstdc++.so.6 ./AppDir/usr/lib/
cp $CONDA_PREFIX/lib/libz.so.1 ./AppDir/usr/lib/
cp $CONDA_PREFIX/lib/libcom_err.so.3 ./AppDir/usr/lib/

# Deploy linux binaries
./linuxdeployqt-build ./AppDir/usr/bin/linsar -unsupported-allow-new-glibc -bundle-non-qt-libs -no-copy-copyright-files -qmake=$CONDA_PREFIX/bin/qmake -verbose=2
# ./linuxdeployqt-build

# Second: Must remove X11 server libs manually
rm AppDir/usr/lib/libX11-xcb*
rm AppDir/usr/lib/libXau*
rm AppDir/usr/lib/libxcb*
rm AppDir/usr/lib/libXdmcp*
rm AppDir/usr/lib/libxkbcommon*
rm AppDir/usr/lib/libXrender*
rm AppDir/usr/lib/libXext*

cd ..
ucrt64-msys2
 rm -rf build
mkdir build
cd build

# define the PREFIX_PATH
# 下面这个一定是该变量，由于Travis虚拟容器中是如此
PREFIX_PATH="C:/tools/msys64/ucrt64"

cmake -GNinja \
    -DCMAKE_PREFIX_PATH=$PREFIX_PATH \
    -DCMAKE_MAKE_PROGRAM=ninja \
    -DCMAKE_INSTALL_PREFIX=./install \
    -DCMAKE_BUILD_TYPE=Release \
    -DH2O_BUILD_SHARED=ON \
    -DH2O_BUILD_TEST=ON \
    -DH2O_VERSION_NAME=linsar \
    ../

cmake --build . --target install --config Release

# download CQtDeployer using wget and rename it to CQtDeployer.zip
wget https://github.com/QuasarApp/CQtDeployer/releases/download/v1.6.2285/CQtDeployer_1.6.2285.1507045_Windows_AMD64.zip -O CQtDeployer.zip

# unzip CQtDeployer into ./CQtDeployer using unzip
unzip CQtDeployer.zip -d ./CQtDeployer

./CQtDeployer/CQtDeployer.exe -bin ./install/bin/ -libDir $PREFIX_PATH/bin -qmake $PREFIX_PATH/bin/qmake.exe -targetDir ./install/bin/ -recursiveDepth 30
# download vcredist, 
cd ..

对应的部署脚本

language: cpp

branches:
  only:
    - master
    - /^v.*$/

compiler:
  - gcc

env:
  - APP_VERSION=`git describe --abbrev=0 --tags`

# jobs任务，按照job
jobs:
  include:
    - os: linux
      arch: arm64-graviton2
      virt: vm
      group: edge
      dist: focal
      install:
        - wget https://repo.anaconda.com/miniconda/Miniconda3-py310_23.1.0-1-Linux-aarch64.sh -O miniconda.sh
        - bash miniconda.sh -b -p $HOME/miniconda
        - source "$HOME/miniconda/etc/profile.d/conda.sh"
        - hash -r
        - conda config --set always_yes yes --set changeps1 no
        - conda update -q conda
        # Useful for debugging any issues with conda
        - conda info -a
        # Replace dep1 dep2 ... with your dependencies
        - conda env create -n openblas -f tools/link-linux-arm64.yml
        - conda activate openblas
      script:
        - "bash tools/build-linux-arm64.sh"
      before_deploy:
        - mv build/AppDir LinSAR-linux-arm64-$APP_VERSION
        - tar zcvf LinSAR-linux-arm64-$APP_VERSION.tar.gz LinSAR-linux-arm64-$APP_VERSION
      deploy:
        provider: releases # 操作 repo 的 releases 页面
        api_key: $GITHUB_TOKEN # 使用github token验证身份，进行操作
        file:
          - LinSAR-linux-arm64-$APP_VERSION # 上传的文件
        skip_cleanup: true # 要上传文件到 release，所以不能自动清除
        on:
          tags: true #  只有打 tag 时才运行

    - os: windows
      before_install:
        - |-
          case $TRAVIS_OS_NAME in
            windows)
              [[ ! -f C:/tools/msys64/msys2_shell.cmd ]] && rm -rf C:/tools/msys64
              choco uninstall -y mingw
              choco upgrade --no-progress -y msys2
              export msys2='cmd //C RefreshEnv.cmd '
              export msys2+='& set MSYS=winsymlinks:nativestrict '
              export msys2+='& C:\\tools\\msys64\\msys2_shell.cmd -defterm -no-start'
              export mingw64="$msys2 -mingw64 -full-path -here -c "\"\$@"\" --"
              export ucrt64="$msys2 -ucrt64 -full-path -here -c "\"\$@"\" --"
              export msys2+=" -msys2 -c "\"\$@"\" --"
              ## Install more MSYS2 packages from https://packages.msys2.org/base here
              export PATH=/C/tools/msys64/mingw64/bin:$PATH
              export PATH=/C/tools/msys64/ucrt64/bin:$PATH
              export MAKE=mingw32-make  # so that Autotools can find it
              ;;
          esac
      install:
        # - choco install -y visualstudio2019buildtools --package-parameters "--includeRecommended --includeOptional --passive"
        # - choco install -y visualstudio2019-workload-vctools --package-parameters "--includeRecommended --includeOptional --passive"
        - "bash tools/link-mingw-64.sh"
      script:
        - "bash tools/build-mingw-64.sh"
      before_cache:
        - |-
          case $TRAVIS_OS_NAME in
            windows)
              # https://unix.stackexchange.com/a/137322/107554
              $ucrt64 pacman --sync --clean --noconfirm
              ;;
          esac
        - rm -rf $HOME/AppData/Local/Temp/chocolatey
        - rm -rf ${TRAVIS_HOME}/.casher
      cache:
        directories:
          - $HOME/AppData/Local/Temp/chocolatey
          - /C/tools/msys64
      before_deploy:
        - mv build/install LinSAR-Win-$APP_VERSION
        - 7z a LinSAR-Win-$APP_VERSION.7z LinSAR-Win-$APP_VERSION/* -r
      deploy:
        provider: releases # 操作 repo 的 releases 页面
        api_key: $GITHUB_TOKEN # 使用github token验证身份，进行操作
        file:
          - LinSAR-Win-$APP_VERSION.7z # 上传的文件
        skip_cleanup: true # 要上传文件到 release，所以不能自动清除
        on:
          tags: true #  只有打 tag 时才运行

    - os: linux
      arch: amd64
      dist: bionic
      install:
        - wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh
        - bash miniconda.sh -b -p $HOME/miniconda
        - source "$HOME/miniconda/etc/profile.d/conda.sh"
        - hash -r
        - conda config --set always_yes yes --set changeps1 no
        - conda update -q conda
        # Useful for debugging any issues with conda
        - conda info -a
        # Replace dep1 dep2 ... with your dependencies
        - conda env create -n openblas -f tools/link-linux-64.yml
        - conda activate openblas
      script:
        - "bash tools/build-linux-64.sh"
      before_deploy:
        - mv build/AppDir LinSAR-linux-amd64-$APP_VERSION
        - tar zcvf LinSAR-linux-amd64-$APP_VERSION.tar.gz LinSAR-linux-amd64-$APP_VERSION
      deploy:
        provider: releases # 操作 repo 的 releases 页面
        api_key: $GITHUB_TOKEN # 使用github token验证身份，进行操作
        file:
          - LinSAR-linux-amd64-$APP_VERSION.tar.gz # 上传的文件
        skip_cleanup: true # 要上传文件到 release，所以不能自动清除
        on:
          tags: true #  只有打 tag 时才运行

# 打包消息通知
notifications:
  recipients:
    - 2997534654@qq.com
  on_success: change # default: change
  on_failure: always # default: always

部署案例效果图

编译过程

linux arm64效果
在这里插入图片描述

lincong-pro
关注
专栏目录
monorepo-travis：试用配置Travis CI的monorepo
02-05
Travis CI monorepo演示 该存储库是有关使用构建Monorepo项目的实验。 如果您对其他CI选项感兴趣，请确保签出我的。 这个怎么运作？ 它利用Travis矩阵功能，在.travis.yml我们在.travis.yml为不同项目位置定义...
等待netlify预览：让您的Travis CI等待Netlify构建预览
02-18
让您的Travis CI等待Netlify构建预览 设置 纱 $ yarn add wait-for-netlify-preview npm $ npm install --save wait-for-netlify-preview 用法 需要以下环境变量： GITHUB_API_TOKEN具有repo_deployment范围 ...
为iOS建立Travis CI（史上最全版）
qq_30817073的博客
06-20 3665
为iOS配置Travis CI的资源特别少，我提供了我已经配置成功并能够自动部署到蒲公英的相关配置文件，希望对大家有用
qt creator 帮助文档_Qt项目持续集成系列之一 -- github自动化编译
weixin_39894473的博客
11-26 271
文章原始地址Qt项目持续集成系列之-github自动化编译 | 涛哥的博客​jaredtao.github.io当你还在折腾虚拟机、安装Qt环境的时候，涛哥已经写完了代码，并利用CI完成自动编译、自动发行Windows、MacOS、Ubuntu等多个平台的发布包。。。持续集成的概念和好处，涛哥就不再赘述了。本文的目标是，领各位读者入门，学会如何在GitHub上搭建Qt项目的自动化编译环境。后续的文...
Qt项目持续集成系列之二 -- github自动化发行
武威的涛哥-博客
04-28 803
上一篇文章在这 https://blog.csdn.net/D759378563/article/details/84643034 本文的目标是，在github上实现Qt工程的自动化发行。 看个预览图先: 上图所示github的Release中，包含了两个macos平台的dmg包、5个windows平台的zip包以及一个ubuntu平台的包，都是自动化发行的结果。 后续会加入Android和io...
Travis CI 使用教程
gitblog_00380的博客
09-01 591
Travis CI 使用教程 how-to-use-travis-ci如何简单入门持续集成( Travis-CI ) http://travis-ci.org/项目地址:https://gitcode.com/gh_mirrors/ho/how-to-use-travis-ci 项目介绍 Travis CI 是一个广泛使用的持续集成服务，主要用于自动化测试和部署 GitHub 上的项目。通过 T...
travis ci java_[转]Travis Ci的最接底气的中文使用教程
weixin_36318306的博客
02-22 206
相信大家对Travis Ci已经不再陌生了，Github上已经有大部分的项目已经采用了它。Travis Ci是一个基于晕的持续集成项目，目前已经支持大部分主流语言了，如：C、PHP、Ruby、Python、Nodejs、Java、Objective-C等等，Travis Ci与Github集成非常紧密，官方的集成测试托管只支持Github项目，不过你也可以通过Travis Ci开源项目搭建一套属于...
Travis CI mysql_连续集成 – 使用Travis CI配置Mysql 5.7
weixin_39569753的博客
01-19 120
我无法在Travis CI上运行测试,因为我找不到在容器中设置mysql 5.7的方法.sudo apt-get remove --purge "^mysql.*"sudo apt-get autoremovesudo apt-get autocleansudo rm -rf /var/lib/mysqlsudo rm -rf /var/log/mysqlecho mysql-apt-config...
Travis CI(持续集成)
希冀
11-27 823
文章目录持续集成（Travis CI）简介什么是持续集成？Travis CI 使用详解Travis CI的.travis.yml配置文件持续集成（Travis CI）运行流程详解install 命令script 命令Travis 部署Travis 钩子方法Travis 运行状态 持续集成（Travis CI）简介 编写代码只是软件开发的一小部分，更多的时间往往花在构建（build）和测试（test）。 为了提高软件开发的效率，构建和测试的自动化工具层出不穷。Travis CI 就是这类工具之中，市场份额最大
利用 Travis CI 自动测试、部署 Java Web 项目到 Tomcat
geomon的博客
04-12 995
上一个项目的部署测试流程是：本地写完，本地测试，打包为 war 上传到服务器，服务器部署到 Tomcat 指定目录下，重启 Tomcat。这一套流程下来少说十分钟，而且如果刚上传完发现有 bug 的话，还要本地改完重新再来一遍。重复这样的过程让人心神俱疲，好在现在已经有成熟的解决方案如 Travis CI、Jenkins等，今天我们就尝试着在 Java Web 项目中运用 Travis CI ...
Github使用Travis CI持续集成，自动测试代码
彭世瑜的博客
11-06 528
官网：参考。
Java项目中的Travis CI：实现自动化构建与测试
09-22
本文将详细介绍Travis CI的基本概念、如何在Java项目中使用Travis CI，以及如何配置Travis CI来实现自动化的构建和测试流程。 Travis CI为Java项目提供了一个简单而强大的持续集成解决方案。通过自动化构建和测试，...
hello-travis-ci：Travis CI教程，主要介绍如何使用Travis CI的检验代码功能和代码审查功能。 Travis CI的教程主要介绍如何使用Travis CI的检查代码功能和Code Review功能
02-01
Travis CI是一个持续集成（CI）服务，专为GitHub项目设计，用于自动化构建、测试和部署代码。在本文中，我们将深入探讨Travis CI的基本概念、如何配置Travis CI进行代码检验以及如何利用其进行代码审查。 首先，让...
contrib_jdk8u-ci:在Travis CI上完成OpenJDK 8“普通” Linux构建
05-08
标题中的"contrib_jdk8u-ci:在Travis CI上完成OpenJDK 8“普通” Linux构建"指的是一个开源项目，它专注于在Travis CI（持续集成服务）平台上为OpenJDK 8构建一个“普通”（Vanilla）版本的Linux版本。这个“普通”...
CI/CD详细流程
厄尔尼诺的博客
10-01 596
CI/CD（持续集成/持续交付或持续部署）自动化软件构建、测试和部署
如何理解运行 lspci 命令得到的输出信息？
深耕AI
10-08 548
如何理解运行 lspci 命令得到的输出信息？
Perforce静态分析工具2024.2新增功能：Helix QAC全新CI/CD集成支持、Klocwork分析引擎改进和安全增强
weixin_49715102的博客
10-05 1313
这些工具有诸多好处，例如用作质量门，确保对代码所做的任何变更都能集成到主线中，并顺利通过CI构建和测试，然后再进入开发的下一阶段。2024.2版本还改进了开发人员所需的所有现代身份验证功能，包括通过Validate平台增强 Klocwork的安全性，使用安全断言标记语言（SAML）和OpenID Connect（OIDC）。）来扩展CI/CD，并将测试左移至SDLC的早期阶段，在编写代码时就能发现错误和违反标准规则的情况，以确保持续合规性，而无需执行程序。静态分析工具对自动化执行CI/CD流程至关重要。
三相异步电机矢量控制仿真模型
最新发布
10-08
三相异步电机矢量控制仿真模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值