jenkins-04-2-持续集成

最新推荐文章于 2023-07-17 13:03:04 发布
最新推荐文章于 2023-07-17 13:03:04 发布
阅读量288 收藏 1
点赞数
分类专栏： devops
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/it_freshman/article/details/111520094
版权

持续集成流程

在这里插入图片描述

大致流程说明：

  1. 开发人员每天把代码提交到Gitlab代码仓库。
  2. Jenkins从Gitlab中拉取项目源码，编译并打成jar包，然后构建成Docker镜像，将镜像上传到Harbor私有仓库。
  3. Jenkins发送SSH远程命令，让生产部署服务器到Harbor私有仓库拉取镜像到本地，然后创建容器。
  4. 最后，用户可以访问到容器

编译

   stage('1_pull_and_compile') {
            steps {
                checkout([$class: 'GitSCM', branches: [[name: '*/${selected_branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_token_id}", url: 'ssh://git@192.168.129.159:2222/D6573/web-demo.git']]])
                sh "mvn clean compile"
            }
        }

代码检查

sonar静态代码检测

  stage('2_sonar') {
            steps{
                script {
                    scannerHome = tool 'sonarqube-scanner'
                }
                withSonarQubeEnv('sonar-8.6') {
                    sh "${scannerHome}/bin/sonar-scanner"
                }
            }
        }

sonar 质量门

stage("3_sonar_quality_gate") {
            steps {
                script{
                    timeout(time: 120, unit: 'SECONDS') {
                        def qg = waitForQualityGate('sonar-8.6')
                        if (qg.status != 'OK') {
                            withCredentials([string(credentialsId: sonar_auth_id, variable: 'SONAR_AUTH_KEY')]) {							
                                // 打印项目状态信息
                                final String url = "http://192.168.129.44:9000/api/qualitygates/project_status?projectKey=${project_name}"
                                final String requestScript = "curl -u $SONAR_AUTH_KEY: -s ${url} "
                                final String response = sh(script: requestScript, returnStdout: true).trim()
                                echo response
                               //  解析错误项并打印。
                                def parser = new groovy.json.JsonSlurper()
                                def applicationResp = parser.parseText(response)
                                println("状态<span style=\"color:red\">$applicationResp.projectStatus.status</span>")
                                for(item in applicationResp.projectStatus.conditions){
                                    if(item.status == 'ERROR'){
                                        println("错误项："+item)
                                    }
                                }
                            }
                            error "未通过Sonarqube的代码质量阈检查，请及时修改！failure: ${qg.status}"
                        }
                    }
                }
            }
        }

构建项目

安装Pipeline Utility Steps 插件

findFiles等方法需要使用该插件

dockerfile

FROM openjdk:8-jdk-alpine
ARG JAR_FILE="Default_Value"

## 从构建命令获取参数
COPY ${JAR_FILE} /app.jar

## 每个项目公开的端口不一样
ARG SERVER_PORT=8080
ENV env_srver_port=$SERVER_PORT

EXPOSE $env_srver_port
ENTRYPOINT ["java","-jar","/app.jar","--server.port=$env_srver_port"]

构建脚本

stage('4_package_and_build') {
            steps{
                script{
                    //编译，打包
                    sh "mvn package -Dmaven.test.skip=true "

                    //Pipeline Utility Steps 插件 --- findFiles
                    def files = findFiles(glob: 'target/*.jar')
                    if(files.length < 0){
                        error "未找到输出物*.jar."
                    }

                    def jarFile = files[0]
                    echo "---------------${files[0]}"


                    //定义镜像名称
                    def imageName = "${project_name}:${tag}"
                    //构建本地镜像
                    sh "docker build --build-arg JAR_FILE=${jarFile} --build-arg SERVER_PORT=${serverPort} -t ${imageName} ."

                    //定义远程标签名称
                    def remoteImageName = "${harbor_url}/${harbor_project_name}/${imageName}";
                    //给镜像打标签
                    sh "docker tag ${imageName} ${remoteImageName}"

                    //登录Harbor，并上传镜像
                    withCredentials([usernamePassword(credentialsId: "${harbor_auth}",
                            passwordVariable: 'password', usernameVariable: 'username')]) {
                       //登录
                        sh "docker login -u ${username} -p ${password} ${harbor_url}"
                        //上传镜像
                        sh "docker push ${remoteImageName}"
                    }

                    //删除本地镜像
                    sh "docker rmi -f ${imageName}"
                    sh "docker rmi -f ${remoteImageName}"
                }
            }
        }

远程部署

部署脚本

在远程服务器192.168.129.42服务器，创建/home/docker/jenkins_shell，脚本内容如下

#! /bin/bash
harbor_url=$1
harbor_project_name=$2
project_name=$3
tag=$4
port=$5

echo "请求参数：harbor_url=$1, harbor_project_name=$2, project_name=$3, tag=$4, port=$5"

imageName=$harbor_url/$harbor_project_name/$project_name:$tag

echo "imageName=$imageName"


# 查询容器是否存在
containerId=`docker ps -a | grep -w ${project_name}:${tag} | awk '{print $1}'`
if [ "$containerId" != "" ]; then
  # 停掉容器
   docker stop $containerId

  # 删掉容器
  docker rm $containerId

   echo "成功删除容器"
fi


# 删除存在的镜像
docker images| grep -w $project_name | awk '{print $3}' | xargs docker rmi -f

# 登录Harbor私服
docker login -u jhs -p Jhs123456 $harbor_url

# 下载镜像
docker pull $imageName

# 启动容器
docker run -di -p $port:$port $imageName

echo "容器启动成功:${containId}"

测试脚本内容
在jenkins容器内执行如下命令

[docker@s42 jenkins_shell]$ chmod +x deploy.sh
[docker@s42 jenkins_shell]$ sh deploy.sh  192.168.129.44:85 demo1 web-demo 1223 10086
....
容器启动成功:2a90fcb9e541a7f8d694e493e4cc39614674b7b8564abc34b948db3bad687c19

，测试执行成功。

远程登录

免密登录原理
免密登录，需要先在本机生成公钥，然后将公钥拷贝到远程主机，拷贝的过程，既可以手动（在远程主机根目录下创建.ssh目录，然后将公钥存入该目录下authorized_keys文件中即可），也可以直接命令操作ssh-copy-id，这个操作做完了，即可免密登录远程主机。

  1. 首先在 serverA 上生成一对秘钥（ssh-keygen）
  2. 将公钥拷贝到 serverB，重命名 authorized_keys
  3. serverA 向 serverB 发送一个连接请求，信息包括用户名、ip
  4. serverB 接到请求，会从 authorized_keys 中查找，是否有相同的用户名、ip，如果有 serverB 会随机生成一个字符串
  5. 然后使用使用公钥进行加密，再发送个 serverA
  6. serverA 接到 serverB 发来的信息后，会使用私钥进行解密，然后将解密后的字符串发送给 serverB
  7. serverB 接到 serverA 发来的信息后，会给先前生成的字符串进行比对，如果一直，则允许免密登录

jenkins容器内执行


# 1.生成秘钥 
[root@4e9029ecaeca .ssh]# ssh-keygen

# 2. 将本机公钥复制到远程机器的 ~/.ssh/authorized_key.文件中
[root@4e9029ecaeca /]# ssh-copy-id -i ~/.ssh/id_rsa.pub docker@192.168.129.42
# 输入密码
docker@192.168.129.42s password: *******

## 3. 远程登录目标机器 --- 无需使用密码
[root@vm1 web_demo_cloud_pipeline]# ssh 'docker@192.168.129.42'
## 4. 测试、执行脚本成功
[docker@s42 ~]$ sh /ssh_deploy/deploy.sh 192.168.129.44:85 demo1 web-demo 1223 10086

jenkin配置

安装Publish over SSH插件
略.

jenkins配置
在这里插入图片描述

pipeline脚本配置

流水线语法片段
在这里插入图片描述

生成的脚本：

sshPublisher(
    publishers: [
        sshPublisherDesc(
                configName: '192.168.129.42-ssh', 
                transfers: [
                        sshTransfer(
                                cleanRemote: false, 
                                excludes: '', 
                                 execCommand: '/home/docker/jenkins_shell/deploy.sh 192.168.129.44:85 demo1 web-demo 1223 10086',
                                execTimeout: 120000, 
                                flatten: false, 
                                makeEmptyDirs: false, 
                                noDefaultExcludes: false, 
                                patternSeparator: '[, ]+', 
                                remoteDirectory: '', 
                                remoteDirectorySDF: false, 
                                removePrefix: '', 
                                sourceFiles: ''
                        )
                ],
                usePromotionTimestamp: false, 
                useWorkspaceInPromotion: false, 
                verbose: false
        )
    ]
)

完整脚本(parameter)

DockerFile

FROM openjdk:8-jdk-alpine
ARG JAR_FILE="Default_Value"

## 从构建命令获取参数
COPY ${JAR_FILE} /app.jar

## 每个项目公开的端口不一样
ARG SERVER_PORT=8080
ENV env_srver_port=$SERVER_PORT

EXPOSE $env_srver_port
#ENTRYPOINT ["java","-jar","/app.jar","--server.port=$env_srver_port"]
ENTRYPOINT java -jar /app.jar --server.port=$env_srver_port

JenkinsFile

def git_token_id = "6cac69be-bb16-49d4-a315-d71bc2883106"

def tag = "1225"

def git_project_ssh_url_base = "ssh://git@192.168.129.159:2222/D6573"
def git_project_url="${git_project_ssh_url_base}/${project_name}.git"

def harbor_url = "192.168.129.44:85"
def harbor_project_name = "demo1"
def harbor_auth = "ee84a7cd-098b-4890-97cb-609850851ee6"

def sonar_auth_id = "sonar-authentication-token-test"
def sonar_project_status_url = "http://192.168.129.44:9000/api/qualitygates/project_status?projectKey=${project_name}"

pipeline {
    agent any
    stages {
        stage('0_print_envs') {
            steps {
                echo "selected_branch=${selected_branch} ,serverPort=${serverPort} "
            }
        }

        stage('1_pull_and_compile') {
            steps {
                checkout([$class: 'GitSCM', branches: [[name: '*/${selected_branch}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: "${git_token_id}", url: "${git_project_url}"]]])
                sh "mvn clean compile"
            }
        }

        stage('2_sonar') {
            steps{
                script {
                    scannerHome = tool 'sonarqube-scanner'
                }
                withSonarQubeEnv('sonar-8.6') {
                    sh "${scannerHome}/bin/sonar-scanner"
                }
            }
        }

        stage("3_sonar_quality_gate") {
            steps {
                script{
                    timeout(time: 120, unit: 'SECONDS') {
                        def qg = waitForQualityGate('sonar-8.6')
                        if (qg.status != 'OK') {
                            withCredentials([string(credentialsId: sonar_auth_id, variable: 'SONAR_AUTH_KEY')]) {
                                final String requestScript = "curl -u $SONAR_AUTH_KEY: -s ${sonar_project_status_url} "
                                final String response = sh(script: requestScript, returnStdout: true).trim()
                                echo response
                                def parser = new groovy.json.JsonSlurper()
                                def applicationResp = parser.parseText(response)
                                println("状态<span style=\"color:red\">$applicationResp.projectStatus.status</span>")
                                for(item in applicationResp.projectStatus.conditions){
                                    if(item.status == 'ERROR'){
                                        println("错误项："+item)
                                    }
                                }
                            }
                            error "未通过Sonarqube的代码质量阈检查，请及时修改！failure: ${qg.status}"
                        }
                    }
                }
            }
        }

        stage('4_package_and_build') {
            steps{
                script{
                    //编译，打包
                    sh "mvn package -Dmaven.test.skip=true "

                    //Pipeline Utility Steps 插件 --- findFiles
                    def files = findFiles(glob: 'target/*.jar')
                    if(files.length < 0){
                        error "未找到输出物*.jar."
                    }

                    def jarFile = files[0]
                    echo "---------------${files[0]}"


                    //定义镜像名称
                    def imageName = "${project_name}:${tag}"
                    //构建本地镜像
                    sh "docker build --build-arg JAR_FILE=${jarFile} --build-arg SERVER_PORT=${serverPort} -t ${imageName} ."

                    //定义远程标签名称
                    def remoteImageName = "${harbor_url}/${harbor_project_name}/${imageName}";
                    //给镜像打标签
                    sh "docker tag ${imageName} ${remoteImageName}"

                    //登录Harbor，并上传镜像
                    withCredentials([usernamePassword(credentialsId: "${harbor_auth}",
                            passwordVariable: 'password', usernameVariable: 'username')]) {
                        //登录
                        sh "docker login -u ${username} -p ${password} ${harbor_url}"
                        //上传镜像
                        sh "docker push ${remoteImageName}"
                    }

                    //删除本地镜像
                    sh "docker rmi -f ${imageName}"
                    sh "docker rmi -f ${remoteImageName}"
                }
            }
        }


        stage("5_ssh_deploy") {
            steps {
                sshPublisher(
                        publishers: [
                                sshPublisherDesc(
                                        configName: '192.168.129.42-ssh',
                                        transfers: [
                                                sshTransfer(
                                                        cleanRemote: false,
                                                        excludes: '',
                                                        execCommand: "/home/docker/jenkins_shell/deploy.sh $harbor_url $harbor_project_name $project_name $tag ${serverPort}",
                                                        execTimeout: 120000,
                                                        flatten: false,
                                                        makeEmptyDirs: false,
                                                        noDefaultExcludes: false,
                                                        patternSeparator: '[, ]+',
                                                        remoteDirectory: '',
                                                        remoteDirectorySDF: false,
                                                        removePrefix: '',
                                                        sourceFiles: ''
                                                )
                                        ],
                                        usePromotionTimestamp: false,
                                        useWorkspaceInPromotion: false,
                                        verbose: false
                                )
                        ]
                )
            }
        }
    }

}

deploy.sh

#! /bin/bash
harbor_url=$1
harbor_project_name=$2
project_name=$3
tag=$4
port=$5

echo "请求参数：harbor_url=$1, harbor_project_name=$2, project_name=$3, tag=$4, port=$5"

imageName=$harbor_url/$harbor_project_name/$project_name:$tag

echo "imageName=$imageName"


# 查询容器是否存在
containerId=`docker ps -a | grep -w ${project_name}:${tag} | awk '{print $1}'`
if [ "$containerId" != "" ]; then
  # 停掉容器
   docker stop $containerId

  # 删掉容器
  docker rm $containerId

   echo "成功删除容器"
fi

# 删除存在的镜像
docker images| grep -w $project_name | awk '{print $3}' | xargs docker rmi -f

# 登录Harbor私服
docker login -u jhs -p Jhs123456 $harbor_url

# 下载镜像
docker pull $imageName

# 启动容器
docker run -di -p $port:$port $imageName

echo "容器启动成功:${containId}"
伊布拉西莫
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Jenkins】持续集成与交付 （二）：安装 Jenkins-2.455-1.1
✨ 欢迎来到【Seal ^_^ 的CSDN博客】！这里是我记录技术心得、分享经验的地方。✨
04-22 7452
🟣【Jenkins】持续集成与交付 （二）：安装 Jenkins
jenkins-2.239-1.1.noarch.rpm
06-24
jenkins自动化持续集成rpm安装包，需要先安装jdk，然后通过yum install jenkins-2.239-1.1.noarch.rpm的方式来安装
代码质量分析利器之SonarQube【史上最全】
05-04 7849
写在前面 随着业务的发展，程序员维护的系统会越来越庞大。原本一个简单稳定的功能，可能在迭代几次后复杂度上升，导致潜在的风险随之暴露，最终导致服务不稳定，造成业务价值的损失。因此，各位大佬们一致认为需要从源头抓起，从个人技术成长到工作流程标准化去提供系统稳定性。与此同时，我也在代码质量这个方向进行挖掘，试图通过代码质量分析去反向要求程序员提高代码编程能力，降低错误风险，这才有了今天的主角-SonarQube 文章目录写在前面背景代码质量分析的痛点调研调研结果Sonarqube介绍工作原理功能介绍项目项目-总览
SonarQube8.4+Jenkins2遇到的问题
Lion
12-30 8359
一、添加token问题 SonarQube servers中没有添加Server authentication token的文本框。 需要在Jenkins的凭据中添加全局的token。 1、步骤：凭据–>添加凭据–>添加信息并save 2、具体信息填写如下： 3、设置sonarqube server的token 二、pipeline编写错误问题 1、jenkins构建报错信息 Running in Durability level: MAX_SURVIVABILITY org.codeha
Sonarqube-API接口2
最新发布
weixin_46453070的博客
07-17 426
最后，我们指定了第三方网页的URL。Sonarqube获取项目下每个问题等级的tag的API接口是什么，比如严重等级下的tag有哪些种，然后我还想知道一下每种tag有多少个，可以怎么得到一个统计的数。Sonarqube获取项目下每个问题等级的tag的API接口是什么，比如严重等级下的tag有哪些种，然后我还想知道一下每种tag有多少个，可以怎么得到一个统计的数。另外，也可以使用Sonarqube的Web界面来查看每种tag的数量，进入项目的Issues页面，选择Tag标签页，即可看到每种tag的数量。
Jenkins流水线文件
努力学习，努力爱你！
08-11 339
由于要进行sonar代码质量分析 所以主pom文件需要进行如下配置。如有问题，欢迎指正！
Jenkins Pipeline集成Sonar进行代码质量检测
chihujiang3132的博客
03-07 1758
Jenkins Pipeline集成Sonar进行代码质量检测 简介 jenkins pipeline Jenkins Pipeline (或简称为 "Pipeline" )是一套jenkins插件，将持续交付的实现和实施集成到 Jenkins 中。 Jenkins Pipeline 表达了...
Jenkins-2.174可持续集成引擎
04-24
**Jenkins 2.174 持续集成引擎** Jenkins 是一款开源的持续集成（Continuous Integration，CI）工具，广泛应用于自动化各种软件构建、测试和部署任务，是软件开发过程中的重要组成部分。Jenkins 2.174 版本提供了更...
Jenkins Pipeline+SonarQube+Python集成钉钉群消息自动通知(webhook版)
Mo小泽的技术博客
10-09 2851
文章目录前言准备工作配置使用Pipeline构建Pipeline的介绍新建Pipeline项目job UI 界面（参数化构建）Pipeline脚本钉钉通知依赖包脚本通知效果小结 前言 SonarQube 最需要的功能之一是能够在质量未达到预期水平时使通知或构建失败。我们知道在 SonarQube 中具有质量阀的内置概念，在上文我们是试图通过在主动等待其执行结束来获取扫描结果功能。但该解决方案并不是...
【Groovy】json 字符串反序列化 ( 使用 JsonSlurper 进行 json 字符串反序列化 | 根据 map 集合构造相关类 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
02-09 5130
一、使用 JsonSlurper 进行 json 字符串反序列化、 二、根据 map 集合构造相关类、 三、完整代码示例、
超详细，自动化测试接入Jenkins+Sonar质量门禁实践
08-25 1753
大家好，我叫小码哥，一名在测试开发道路上的新手，是xxx全栈测开训练营上一期的学员。第一阶段的学习已然结束，收获颇多，了解了很多在自己平时测试工作无法接触到的新知识，比如这次在这里分享的Sonarqube进行静态代码扫描并集成Jenkins的知识，是分享也是自我学习的总结。若有不对的地方，还请各位同行，同学，老师及时指正。 1. 什么是SonarQube SonarQube是一个开源的代码质量管理系统，用于检测代码中的错误，漏洞和代码规范，通过插件的机制， 可以基于现有的Gitlab、Jenkin..
【Testops学习积累之二】Jenkins Pipeline中Git打包、Sonar扫描静态代码实践操作过程记录
深圳-雄少（XZee）
08-22 427
步骤1：在jenkins服务器中，下载git和部署，并在jenkins中安装git插件，并在系统管理--全局工具配置中配置git路径（如下图） 步骤2：jenkins服务器中，安装和部署mysql（自行百度，也可以采用docker 容器部署），并启动 参考资料：https://www.cnblogs.com/yoyotl/p/5752437.html 步骤3：docker 安...
流水线 面试题 linux,Jenkins打造多分支流水线指南
weixin_39915820的博客
05-16 619
overview：多分支工作流程带来了以下几个关键能力：在代码仓库中，每个新分支都有自己单独的工作流水线(job)。每个工作流水线都记录了对应分支的构建和变更历史。可以自定义设置流水线随着分支的删除而删除或修建。通过重写父属性(如果需要)，可以灵活地单独配置分支流水线属性。Jenkins pipeline-as-code 使您可以在项目/应用程序源代码存储库中维护CI / CD工作流逻辑，而无需在...
Jenkins代理模式配置Maven工程
evilstar2015的专栏
06-22 1778
本文分别介绍了在代理模式下，通过“构建一个自由风格的软件项目”、“构建一个Maven项目”以及“流水线”3种方式来构建Maven项目，以及每种方式的注意事项，尤其是环境变量的设置...
devops学习(十) Jenkins 流水线
默子昂
07-29 3594
jenkins 流水线配置 生成的语句 添加到我们的语法中 测试构建 返回流水线语法 返回 通过流水线语法添加 返回值 7、通知远程K8集群master更新/部署 返回 这里要注意一个问题 修改后的代码如下 修改输出代码并上传 gitlab添加V5.0.0版本标签..................
CI/CD：Jenkins入门，流水线和插件使用
Ygria的博客
05-14 1380
最近，我们使用的开发服务器被回收了，换了一台新的服务器，CI/CD平台需要重新搭建。 我的运维能力一直薄弱，所以借此机会学习了一番如何使用Jenkins进行持续集成开发和部署，实践并踩了一些坑，在此记录一下。 引言 假如没有CI/CD平台 想要部署到服务器，我们需要本地打包上传至服务器，或上传源码至服务器上打包，覆盖原来的安装包，进行部署。 当所需要部署的只是一个jar包或者只是一个服务，并且代码不经常更新，这样是可以的。但是开发过程中，更常见的是代码经常迭代更新，并且项目中有多个组件。 这带来了大量的机械
jenkins通过SSH Publishers自动构建发包到远程服务器
热门推荐
H的博客
07-09 2万+
备注：本文只针对已经安装并配置好jenkins的用户阅读，使用之前需要先安装插件 点击-系统管理-系统插件-可选插件中 直接搜 publish over ssh 点击安装，安装完之后，重启jenkins 1，系统管理-&amp;gt;系统设置-&amp;gt;Publish over SSH配置里面配置ssh服务器信息 2，在配置好的构建job里面Post Steps栏里面点击Add post-buil...
Jenkins 2.46.3离线安装与持续集成实战
"本文主要介绍如何基于Jenkins 2.46.3版本进行持续集成的设置和操作，包括离线安装方式以及Jenkins的基本概念和功能。文章旨在帮助读者理解持续集成的重要性和实践方法，并提供详细的Jenkins搭建流程。" 在软件开发...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值