多分支流水线方式的pre build

于 2024-07-20 14:31:52 发布
阅读量603 收藏 9
点赞数 14
文章标签： jenkins
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sssssssssnake/article/details/140570940
版权

触发原理
多分支流水线是一种Jenkins Job 类型。
新建一个多分支流水线时，会配置 代码仓库、Scan时间、Jenkinsfile路径等信息
如果配置Scan时间为1min，那么每1min会扫描所配置的代码仓库的分支，如果在该分支上搜索到了配置的Jenkinsfile，就会在Jenkins 创建一个以分支命名的Job并编译，如下图dev，当分支上有新的提交也会触发编译

因多分支流水线 job 以分支为命名，ph rule不能直接触发，所以会创建一个中转的jump job来根据分支下发编译需求

模板Jenkinsfile详解
多分支流水线Jenkinsfile
pipeline {
    agent { //2~33 使用docker images 初始化编译环境
        kubernetes {
            label "${UUID.randomUUID().toString()}"
            yaml """
                metadata:
                  labels:
                    some-label: some-label-value
                    class: KubernetesDeclarativeAgentTest
                  namespace: scm
                spec:               
                  nodeSelector:
                    jenkins-ci: "true"
                  containers:
                    - name: prepare
                      image: hub.hobot.cc/builder/cicd-common-tool:v9
                      command:
                      - cat
                      tty: true
                      env:
                        - name: CONTAINER_ENV_VAR
                          value: prepare
                    - name: build
                      image: hub.hobot.cc/builder/ubuntu16.04:20220402
                      command:
                      - cat
                      tty: true
                      env:
                        - name: CONTAINER_ENV_VAR
                          value: build
            """
        }
    }
    environment {
        LANG = 'en_US.UTF-8'
    }
    parameters { //环境变量，用于接收来自Ph的Post请求
        string defaultValue: '', description: 'Enter PH DIFF_ID', name: 'DIFF_ID', trim: true
        string defaultValue: '', description: 'Enter PH PHID', name: 'PHID', trim: true
        string defaultValue: '', description: 'Enter PH REVISION ID', name: 'REVISION_ID', trim: true
    }

    stages{
        stage('prepare') {
            environment { 
                LANG = 'en_US.UTF-8'
                SSH_KEY_FILE = credentials('725axxxxxx')
                //这里需要使用项目账号的credentials. 这是配置编译时下载代码的密钥，密钥配置方法参考:CICD流程获取代码权限管理方案 中的  10. 如何在Jenkins内创建账号认证信息
                
            }
            steps {
                container('prepare') {
                    script {
                        println Jenkins.instance.getNode("${env.NODE_NAME}").toComputer().getLog() //打印机器信息
                        if (!env.DIFF_ID) { //判断是否是来自Ph的触发
                            updateGitlabCommitStatus name: "${env.JOB_NAME}", state: 'running'
                        }//如果DIFF_ID为空，则更新gitlab commit Status
                        else {
                            process_ph()
                        }//否则运行process_ph()函数
                    }
                }
            }
        }
        stage('building') {
            steps {
                container('build') {//括号里填写的是docker名，第23行配置的name
                    script {
                        sh 'sleep 10s'  //此处运行编译脚本
                    }
                }
            }
        }
    }
    options {
      gitLabConnection('Gitlab connector by hobot.ci')
    }
    post { // 76~144行 根据构建结果执行不同的后续步骤，没有特殊需求不用修改
        failure {
            container('prepare') {
                script {
                    if (!env.DIFF_ID) {
                        updateGitlabCommitStatus name: "${env.JOB_NAME}", state: 'failed'
                        send_mail()
                    }
                }
            }
        }
        success {
            container('prepare') {
                script {
                    if (!env.DIFF_ID) {
                        updateGitlabCommitStatus name: "${env.JOB_NAME}", state: 'success'
                    }
                    else {
                        change_ph_status()
                    }
                }
            }
        }
        unstable {
            container('prepare') {
                script {
                    if (!env.DIFF_ID) {
                        updateGitlabCommitStatus name: "${env.JOB_NAME}", state: 'success'
                    }
                    else {
                        change_ph_status()
                    }
                    send_mail()
                }
            }
        }
        aborted {
            container('prepare') {
                script {
                    if (!env.DIFF_ID) {
                        updateGitlabCommitStatus name: "${env.JOB_NAME}", state: 'canceled'
                        send_mail()
                    }
                }
            }
        }
        always {
            container('prepare') {
                script {
                    if (env.DIFF_ID) {
                        try {
                            timeout(time: 10, unit: 'SECONDS') {
                                step([$class: 'PhabricatorNotifier', commentOnSuccess: true, commentWithConsoleLinkOnFailure: true, customComment: true, commentFile: '.phabricator-comment', commentSize: '999999999'])
                            }
                        }
                        catch (Exception e) {
                            try {
                                timeout(time: 10, unit: 'SECONDS') {
                                    step([$class: 'PhabricatorNotifier', commentOnSuccess: true, commentWithConsoleLinkOnFailure: true])
                                }
                            }
                            catch (Exception f) {
                                echo "finish"
                            }
                        }
                    }
                }
            }
        }
    }
}
//147~215 函数

def process_ph() {
    sh '''
        curl https://cr.hobot.cc/api/differential.revision.edit \
            -d api.token= \
            -d transactions[0][type]=comment \
            -d transactions[0][value]="build job is running \n click this link then redirect to build job: \n ${BUILD_URL}" \
            -d objectIdentifier=$REVISION_ID
    '''
    addShortText(text: "Link to PH D${env.REVISION_ID}", padding: "1", border: "0", margin: "0px", background: "transparent", color: "blue", link: "https://cr.hobot.cc/D${env.REVISION_ID}")
    title = get_ph_title()
    title = title.replaceAll("\\[Build Not Finish Or FAIL DO NOT ACCEPT\\]", "")
    title = "[Build Not Finish Or FAIL DO NOT ACCEPT]" + title
    change_ph_title(title,"${env.REVISION_ID}")
}

def get_ph_title() {
    title = sh (script: 'curl -s https://cr.hobot.cc/api/differential.query -d api.token= -d ids[0]=$REVISION_ID | python3 -c "import sys, json; print(json.load(sys.stdin)[\'result\'][0][\'title\'])"',returnStdout: true)
    return title
}

def change_ph_title(title_message,revision_id) {
    title_message = java.net.URLEncoder.encode(title_message, "UTF-8")
    sh """
        curl https://cr.hobot.cc/api/differential.revision.edit \
            -d api.token= \
            -d transactions[0][type]=title \
            -d transactions[0][value]=${title_message} \
            -d objectIdentifier=${revision_id}
    """
}

def change_ph_status() {
    title = get_ph_title()
    title = title.replaceAll("\\[Build Not Finish Or FAIL DO NOT ACCEPT\\]", "")
    change_ph_title(title,"${env.REVISION_ID}")
}
def get_code() {
    echo "push process"
    checkout([
        $class: 'GitSCM', 
        branches: [[name: "origin/${PH_BRANCH_NAME}"]], 
        doGenerateSubmoduleConfigurations: false, 
        extensions: [
            [$class: 'CloneOption', depth: 0, noTags: false, reference: '', shallow: false], 
            [$class: 'SubmoduleOption', disableSubmodules: false, parentCredentials: true, recursiveSubmodules: true, reference: '', trackingSubmodules: true], 
            [$class: 'AuthorInChangelog'],
            [$class: 'UserIdentity', email: 'xxxx@horizon.ai', name: 'xxxx'],
        ], 
        submoduleCfg: [], 
        userRemoteConfigs: [[credentialsId: 'e486xxxx', url: "${env.gitlabSourceRepoSshUrl}"]]
    ])
    if (env.REVISION_ID) {
        echo "apply patch from ph"
        try{
            PH_BRANCH_NAME = sh (script: 'curl -s https://cr.hobot.cc/api/differential.diff.search -d api.token= -d constraints[ids][0]=$DIFF_ID | python3 -c "import sys, json; print(json.load(sys.stdin)[\'result\'][\'data\'][0][\'fields\'][\'refs\'][1][\'name\'])"',returnStdout: true).trim().replaceAll("/", "%2F")
        }catch (Exception err){
            PH_BRANCH_NAME = sh (script: 'curl -s https://cr.hobot.cc/api/differential.diff.search -d api.token= -d constraints[ids][0]=$DIFF_ID | python3 -c "import sys, json; print(json.load(sys.stdin)[\'result\'][\'data\'][0][\'fields\'][\'refs\'][0][\'name\'])"',returnStdout: true).trim().replaceAll("/", "%2F")
        } 
        sh """
            echo "PH_BRANCH_NAME: ${PH_BRANCH_NAME}"
            git config --global user.name xxxx
            git config --global user.email xxx@horizon.ai
            git reset --hard origin/"${PH_BRANCH_NAME}"
            git clean -fd -f
            arc patch --diff "$DIFF_ID" --nobranch --force --conduit-uri=https://cr.hobot.cc/ --conduit-token=
        """
    }
}

Jump Jenkinsfile

//change to current build jenkins job
def build_jenkins_project = "xxx/XXX" //""里配置需要触发编译的Jenkins job
//Ex: def build_jenkins_project = "CICD-Demo/Demo_Pre_build_Jump/"

pipeline {
    agent {//6~29 行 初始化环境，因为不涉及编译，所以不用修改
        kubernetes {
            label "${UUID.randomUUID().toString()}"
            yaml """
                metadata:
                  labels:
                    some-label: some-label-value
                    class: KubernetesDeclarativeAgentTest
                  namespace: scm
                spec:
                  nodeSelector:
                    jenkins-ci: "true"
                  containers:
                    - name: build
                      image: hub.hobot.cc/builder/cicd-common-tool:v8
                      command:
                      - cat
                      tty: true
                      env:
                        - name: CONTAINER_ENV_VAR
                          value: build
            """
        }
    }
    options { 
        skipDefaultCheckout() 
    }
    parameters { //参数，用来接收来自Ph的post 请求
        string defaultValue: '', description: 'Enter PH DIFF_ID', name: 'DIFF_ID', trim: true
        string defaultValue: '', description: 'Enter PH PHID', name: 'PHID', trim: true
        string defaultValue: '', description: 'Enter PH REVISION ID', name: 'REVISION_ID', trim: true
    }
    stages{ //38~62配置jump触发编译任务
        stage('jump') {
            steps {
                container('build') {
                    script {
                        branch = sh (script: 'curl -s https://cr.hobot.cc/api/differential.query -d api.token= -d ids[0]=$REVISION_ID | python3 -c "import sys, json; print(json.load(sys.stdin)[\'result\'][0][\'branch\'])"',returnStdout: true).trim().replaceAll("/", "%2F")      
                        remote_job = build job: build_jenkins_project + '/' + branch, 
                            wait: false, 
                            parameters: [
                                [$class: 'StringParameterValue', name: 'DIFF_ID', value: "${env.DIFF_ID}"], 
                                [$class: 'StringParameterValue', name: 'PHID', value: "${env.PHID}"], 
                                [$class: 'StringParameterValue', name: 'REVISION_ID', value: "${env.REVISION_ID}"], 
                            ]
                        
                        sh '''
                            curl https://cr.hobot.cc/api/differential.revision.edit \
                               -d api.token= \
                               -d transactions[0][type]=comment \
                               -d transactions[0][value]="Jump job success \n click this link then redirect to build job: \n ${BUILD_URL}" \
                               -d objectIdentifier=$REVISION_ID
                        '''
                    }
                }
            }
        }
    }
    post {
        success {
            container('build') {
                sh 'echo continue'
                script {
                    branch = sh (script: 'curl -s https://cr.hobot.cc/api/differential.query -d api.token= -d ids[0]=$REVISION_ID | python3 -c "import sys, json; print(json.load(sys.stdin)[\'result\'][0][\'branch\'])"',returnStdout: true).trim().replaceAll("/", "%2F")
                    if (!job_branch_list.contains(branch)) {
                        step([$class: 'PhabricatorNotifier', commentOnSuccess: true, commentWithConsoleLinkOnFailure: true])
                    }
                }
            }
        }
        failure {
            script {
                step([$class: 'PhabricatorNotifier', commentOnSuccess: true, commentWithConsoleLinkOnFailure: true])
            }
        }
        aborted {
            script {
                step([$class: 'PhabricatorNotifier', commentOnSuccess: true, commentWithConsoleLinkOnFailure: true])
            }
        }
    }
}

怎么使用模板
编写多分支流水线Jenkinsfile

  • 拷贝Jenkinsfile_Pre_build_branch模板，根据项目情况修改docker image、编译步骤等
  • 将修改完的Jenkinsfile_Pre_build_branch命名为Jenkinsfile ，提交到项目代码仓库的scm/project/目录下
  • 如果需要编译的是多个分支，这些分支的scm/project/ 下都要有Jenkinsfile
    编写Jump Jenkinsfile
  • 拷贝Jenkinsfile_Pre_build_Jump模板，根据项目情况修改docker image、编译步骤等
  • 将修改完的Jenkinsfile_Pre_build_Jump命名为Jenkinsfile_Jump ，提交到项目代码仓库的目录下
    创建并配置多分支流水线Jenkins Job
    在需要创建 Jenkins job的文件夹下新建多分支流水线。

输入Jenkins job名，选择多分支流水线，点击OK完成创建

配置多分支流水线
1.对Branch Sources进行配置

  • Branch Sources点击add source,选择git
  • Project Repository：输入仓库地址
  • Credentials：输入认证凭据(凭据选择git)

Behaviours：

  • add 选择Discover Tags

  • add 选择Advanced clone behaviours

  • 勾选下Shallow clone,Shallow clone depth为1

  • Build strategies选择named branches

  • add添加wildcard include/excludes

  • include默认为*，表示所有分支，也可以在include中添加所需触发的分支名

配置完成后点击保存
创建Jump job
参考 创建Jenkins job 创建Jump job ，命名可以加上Jump 字符
配置Jenkins job ，调用代码仓库中的Jump Jenkinsfile Jenkins job调用代码仓库中的Jenkinsfile

sssssssssnake
关注
37-Jenkins-多分支流水线
小白的博客
08-13 2578
Jenkins-多分支流水线
16、持续集成流水线实践：流水线上的AI单元测试（MAVEN）
Criss@陈磊
02-25 697
流水线上的AI单元测试（MAVEN） 持续集成就是不断地将代码仓库各种分支合并到主干的过程，在持续集成过程中的卡点设置除去team内部的code review、SonarQube的代码扫描还有就是单元测试。 单元测试是什么 单元测试就是对软件中最小可测单元进行的检查和验证。这个最小可测单元有可能是指C语言中的一个函数，有可能是Java的一个类。这也就是所有的单元就是认为规定的一种最小的被测试单元。单元测试是在软件开发过程中要进行的最低级别的测试活动，软件的独立单元将在与程序的其他部分相隔离的情况下进行测
Jenkins创建多分支流水线
Button的博客
02-09 4899
Jenkins创建多分支流水线
Jenkins教程—构建多分支流水线项目
深圳市多克创新科技有限公司
09-08 1815
Jenkins教程—构建多分支流水线项目
Jenkins教程（6）构建多分支流水线项目
大强博客
07-24 3738
本教程向你展示如何使用Jenkins协调一个用Node Package Manager (npm)管理的简单Node.js和React项目，并同时为开发和产品环境交付不同的结果。 在开始本教程之前，建议你前往教程概览页面，并至少完成一个介绍教程， 从而让你熟悉持续集成/持续交付概念（不同于你以往熟悉的技术栈）和这些概念在Jenkins中实现方式， 以及Jenkins流水线的基本知识。 本教程你将使用与构建npm管理的Node.js和React应用教程相同的应用。然而这一次，项目...
教你创建多分支流水线，为实现持续交付储备知识
雨水的早晨的博客
10-18 1010
创建多分支流水线任务
Jenkins多分支扫描之触发特定job简单使用
NewTyun的博客
04-15 1250
新钛云服已为您服务1459天前言：jenkins 多分支扫描相信从事运维工作的相关人员很多都使用过，本身是一个很简单的问题。写这篇文章的目的其实也是很简单，主要解决以下几个问题，以及简单的使用演示。问题：问题一：多分支扫描后生成n个job(每个分支会生成一个jobs), 怎么解决指定分支提交代码触发对应分支的job,而不是触发所有jobs执行。问题二：怎么使相同的jenk...
11、持续集成流水线实践：自动化流水线实战
Criss@陈磊
02-25 500
自动化流水线实战 本文以实际的一个项目为例，讲解如何从头开始配置一个jenkins的maven驱动的项目 项目介绍 实例使用的代码https://github.com/crisschan/spring-boot-examples，是一个springboot的helloworld，代码来自于网络。 Jenkins的配置 进入Jenkins后，选择新建Item： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Q8dRS4vw-1614253270426)(https://ra
持续集成工具篇：Jenkins 与流水线管理
HongYu012的博客
03-16 1711
前言：该系列文章，围绕持续集成：Jenkins+Docker+K8S 相关组件，实现自动化管理源码编译、打包、镜像构建、部署等操作；本篇文章主要描述 Jenkins 基础用法。 一、Jenkins 安装 1、环境部署 下载 Jenkins 包 注意这里直接下载 war 文件，以 Java 服务的形式启动。 环境：war 运行 版本：2.289.3 类型：Generic Java package (.war) 启动命令 java -jar jenki...
10、持续集成流水线实践：Jenkins、GitLab和Maven（Nexus）完成自动构建迈向持续集成
Criss@陈磊
02-25 758
Jenkins、GitLab和Maven（Nexus）完成自动构建迈向持续集成 持续集成，毋庸置疑的是这是两部分要求，一个是持续一个是集成，那么持续和集成到底表示了什么要求和含义呢？其中的集成比较容易理解就是指开发人员将自己开发的代码不断地交付给全部系统的代码，在Git仓的概念之下也就是不断地将自己的代码集成到代码仓的主干。这样就能够不断地让主干新增代码来实现不同的新feature，那么这也就是集成。 那么再说说持续，持续意思是延续，继续；无间隔，连续不断。那么也就是说要不断的将开发新开发的代码集成到项目代
3小时使用Jenkins工具解决流水线及多分支构建实践
06-21
由于公司内部项目众多，大量的项目使用同-套流程做CICD,那么势必会存在大量的重复代码，因此本章主要通过使用groovy实现Jenkins的sharedL ibrary的开发，以提取项目在CICD实践过程中的公共逻辑，提供一系列的流程的接口供公司内各项目调用，开发完成后，还是以Django的demo项目为例，进行Jenkinsfle的改造，最后仅需通过简单的Jenkinsfle的配置，即可优雅的完成CICD流程的整个过程，此方式已在大型企业内部落地应用。
记一次单体项目构建多分支流水线的过程
最新发布
weixin_38134258的博客
03-16 684
记一次单体项目构建多分支流水线的过程
Jenkins 流水线多种使用场景详解（Jenkinsfile，多环境部署，多分支部署）
junkaione的博客
03-06 6365
Jenkins是目前大多数中小公司使用的CI、CD工具，其中Jenkins的任务又分普通任务和流水线任务，普通任务的构建和部署在我之前的一篇文章中写过使用教程，但其中流水线任务可实现我们更复杂的需求也更自由，不过上手难度也稍微高点。
Jenkins流水线构建
lIujunXHU的博客
12-20 1533
优势：使用流水线可以让任务从ui手动操作，转换为代码，像docker的dockerfile一样，从shell命令到配置文件，更适合大型项目，可以让团队的其他开发者同时参与进来，同时也可以编辑开发Jenkins web ui 不能完成的更复杂的构建，作为开发者可读性也更好。3、配置流水线，定义流水线模式：Pipeline script from SCM。注意：创建多分支流水线，每个分支下面必须要有Jenkinsfile文件。2、配置流水线，定义流水线模式：Pipeline script。
jenkins 执行远程linux命令
weixin_33805992的博客
04-16 652
在Jenkins中进行构建时，可能需要首先SSH登录到一个远程服务器以执行必要的脚本，然后再执行构建。这时，需要安装SSH Plugin，并进行如下配置。1.在Jenkins界面，系统管理->管理插件->安装SSH Plugin 说明，SSH Plugin的目的就是支持SSH到远程服务器，然后执行Shell命令。 2.在Jenkins界面，系统管理->Configure(配置...
Jenkins（6）流水线（pipeline）、Jenkinsfile设置、多分支构建及简单总结
учёба
09-16 6281
流水线、Jenkinsfile、多分支构建
Jenkins多分支流水线：Webhook按分支触发自动构建
热门推荐
yanggd1987的专栏
06-23 1万+
需求 Jenkins多分支流水线（Multibranch Pipeline ）项目类型能够在同一个项目的不同分支上实现不同的Jenkinsfile。在多分支流水线项目中, Jenkins 自动的发现、管理和执行在源代码控制中包含Jenkinsfile的分支的流水线，这消除了手动创建和管理流水线的需要。 在实际应用中，我们经常需要Git+Jenkins实现代码提交触发Job的自动构建。对于普通Job，webhook自动触发即可；但是对于多分支流水线，每次webhook触发的可能是master、develop或
⚠ certificate has expired ⚠ gifsicle pre-build test failed
02-24
当你遇到 "certificate has expired" 的错误提示时，意味着你的证书已过期。证书是用于验证网站身份和加密通信的一种安全机制。过期的证书会导致浏览器或其他应用程序无法信任该网站，从而阻止你访问或与该网站进行安全通信。 要解决这个问题，你可以尝试以下几个步骤： 1. 检查系统时间和日期：确保你的设备上的时间和日期设置正确。过期的证书通常是由于设备时间不准确导致的。 2. 清除浏览器缓存：如果你在浏览器中遇到这个问题，尝试清除浏览器缓存和Cookie。有时候旧的证书缓存可能导致问题。 3. 更新操作系统和应用程序：确保你的操作系统和相关应用程序都是最新版本。更新可能包含修复过期证书的补丁。 4. 检查证书颁发机构（CA）：如果你是网站管理员或开发人员，需要检查你的证书是否由可信任的证书颁发机构（CA）签发。如果证书由不受信任的CA签发，可能会导致浏览器或其他应用程序拒绝信任该证书。 至于 "gifsicle pre-build test failed" 的错误提示，这通常是在构建或安装gifsicle软件包时出现的问题。gifsicle是一个用于处理GIF图像的工具。 要解决这个问题，你可以尝试以下几个步骤： 1. 检查依赖项：确保你的系统上已安装了gifsicle所需的所有依赖项。这可能包括其他库或软件包。你可以查看gifsicle的文档或官方网站获取详细的依赖项信息。 2. 更新软件包：确保你正在使用最新版本的gifsicle和相关软件包。更新可能包含修复已知问题或错误的修补程序。 3. 检查编译环境：如果你是从源代码编译gifsicle，确保你的编译环境设置正确，并且你具备构建所需的所有工具和库。 如果以上步骤都没有解决问题，你可以尝试在相关的开发者社区或论坛上寻求帮助，以获取更具体的指导和支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值