devops-9-cicd流水线

已于 2022-12-14 11:27:27 修改
阅读量224 收藏
点赞数
分类专栏： 从零构建运维自动化系统 文章标签： devops 运维
于 2022-12-07 11:01:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haogeoyes/article/details/128216610
版权

构建cicd流程线实践

jienkins官方文档
gojenkins接口包文档
gojenkins源码库

痛点
1、一键查看所有pod日志
2、启动后不知道什么原因服务不可用、三方镜像命令都没有

开发功能：

  • 空间列表、node列表、deployment及其关联svc、rc、rs、pod 列表 、网络ip endpoint 端口对应关系、点击可访问
  1. 构建环境
    • svc
    • pod
    • 基础镜像
    • build yaml文件
    • 发布代码分支
  2. 新建变更、拉新分支
  3. 开发环境拉取分支
  4. 构建镜像
  5. 启动deployment
  6. 合并分支
  7. 构建发布镜像

流水线

gojenkins

修改为python 读取配置变量

变量数据源 data.json
{“branch”:“feature/xx_xx_xx_xx”}

import os
import json
import datetime
import traceback
BASE_DIR = '/home/app/tmp/cicd/code/jenkins_app_code'

def readJson(fileName):
  with open(fileName, 'r') as f:
    data = json.load(f)
  return data

def run():
  try:
    log_file = f'{BASE_DIR}/jenkins.log'
    data_file = f'{BASE_DIR}/data.json'
    data = readJson(data_file)
    branch = data.get('branch','')
    cmd = '''
        cd /home/app/tmp/cicd/code/jenkins_app_code &&
        rm -fr /home/app/tmp/cicd/code/jenkins_app_code/SkyEyeSystem
    '''
    out = os.popen(cmd).read()
    print(datetime.datetime.now())
    print('删除分支',out)
    cmd = '''
        cd /home/app/tmp/cicd/code/jenkins_app_code &&
        git clone http://name:pass@xx.com/app.git
    '''
    out = os.popen(cmd).read()
    print(datetime.datetime.now())
    print('拉取代码库',out)
    cmd = '''
        cd /home/app/tmp/cicd/code/jenkins_app_code/appdir &&
        git checkout %s
    '''%(branch)
    out = os.popen(cmd).read()
    print(datetime.datetime.now())
    print(f'切换分支:{branch}',out)
    cmd = '''
        cd /home/app/tmp/cicd/code/jenkins_app_code &&
        docker build -t app:vtest -f Dockerfile-jenkins  .
    '''
    out = os.popen(cmd).read()
    print(datetime.datetime.now())
    print('构建镜像完成',out)
  except Exception:
    print(traceback.format_exc())


if __name__ == "__main__":
  run()
api url
http://127.0.0.1:3000/api/jenkins/buildStatus/jobName/tianyan/buildId/9
"SUCCESS"
http://127.0.0.1:3000/api/jenkins/buildJob/jobName/tianyan
17
http://127.0.0.1:3000/api/jenkins/getBuildList/jobName/tianyan
[
	{
	Number: 9,
	URL: "http://11.164.62.250:31837/job/tianyan/9/"
	},
	{
	Number: 8,
	URL: "http://11.164.62.250:31837/job/tianyan/8/"
	},
]
http://127.0.0.1:3000/api/jenkins/getJob
[
	{
		_class: "org.jenkinsci.plugins.workflow.job.WorkflowJob",
		name: "tianyan",
		url: "http://11.164.62.250:31837/job/tianyan/",
		color: "blue"
	}
]
pipline

先配置 sshPub 远程主机

pipeline { //整体定义
    agent any //指定机器

    stages { //步骤
        stage('拉取代码') { //每一阶段的名称
            steps {
                sshPublisher(publishers: [sshPublisherDesc(configName: 'dev', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: 'sh /home/tianyan/tmp/cicd/code/jenkins_app_code/jenkins_run.sh', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
                echo '拉取成功'
            }
        }
        stage('执行构建') { //每一阶段的名称
            steps {
                echo '构建完成'
            }
        }        
    }
}
jenkins_ru.sh
#cat jenkins_run.sh
# sh jenkins_run.sh feature/xx_xx_xx分支
echo "开始构建" > /home/app/tmp/cicd/code/jenkins_tianyan_code/jenkins.log
cd /home/app/tmp/cicd/code/jenkins_tianyan_code
rm -fr /home/app/tmp/cicd/code/jenkins_tianyan_code/SkyEyeSystem
echo "删除代码路径" >> /home/app/tmp/cicd/code/jenkins_app_code/jenkins.log
git clone http://name:pass%2F0yes@gitlab.app.com/app.git
echo "拉取代码完成" >> /home/app/tmp/cicd/code/jenkins_app_code/jenkins.log
cd /home/app/tmp/cicd/code/jenkins_app_code/SkyEyeSystem
git checkout $1
echo "切换分支完成 $1" >> /home/app/tmp/cicd/code/jenkins_app_code/jenkins.log

echo "开始构建镜像" >> /home/app/tmp/cicd/code/jenkins_app_code/jenkins.log
cd /home/app/tmp/cicd/code/jenkins_app_code
docker build -t app:vtest -f Dockerfile-jenkins  .
echo "构建镜像完成" >> /home/app/tmp/cicd/code/jenkins_app_code/jenkins.log
Dockerfile

Dockerfile-jenkins

FROM app:v1
ADD  ./xxxx /home/app
go
  • jenkins 接口
    router/router.go
package router

import (
	"gin-client-go/pkg/apis"
	"github.com/gin-gonic/gin"
)

func InitRouter(r *gin.Engine) {
	r.GET("/ping", apis.Ping)
	r.GET("/api/namespaces", apis.GetNamespaces)
	r.GET("/api/nodes", apis.GetNode)
	r.GET("/api/namespace/:namespaceName/pods", apis.GetPods)
	r.GET("/api/namespace/:namespaceName/pod/:podName/delete", apis.DeletePod)
	r.GET("/namespace/:namespaceName/pod/:podName/container/:container", apis.ExecContainer)
	r.GET("/msg", func(c *gin.Context) { apis.Msg(c.Writer, c.Request) })
	r.GET("/api/cicd", apis.GetGitLab)
	r.GET("/api/jenkins/getJob", apis.GetJob)
	r.GET("/api/jenkins/getBuildList/jobName/:jobName", apis.GetBuildList)
	r.GET("/api/jenkins/buildJob/jobName/:jobName", apis.BuildJob)
	r.GET("/api/jenkins/buildStatus/jobName/:jobName/buildId/:buildId", apis.BuildStatus)

}

apis/jenkins.go

package apis

import (
	"gin-client-go/pkg/service/cicd"
	"github.com/gin-gonic/gin"
	"net/http"
	"strconv"
)

func GetJob(c *gin.Context) {
	data, err := service.GetJob()
	if err != nil {
		c.JSON(http.StatusInternalServerError, err.Error())
	}
	c.JSON(http.StatusOK, data)
}

func BuildJob(c *gin.Context) {
	jobName := c.Param("jobName")
	data, err := service.BuildJob(jobName)
	if err != nil {
		c.JSON(http.StatusInternalServerError, err.Error())
	}
	c.JSON(http.StatusOK, data)
}

func GetBuildList(c *gin.Context) {
	jobName := c.Param("jobName")
	data, err := service.GetBuildList(jobName)
	if err != nil {
		c.JSON(http.StatusInternalServerError, err.Error())
	}
	c.JSON(http.StatusOK, data)
}

func BuildStatus(c *gin.Context) {
	id := c.Param("buildId")
	buidId, err := strconv.ParseInt(id, 10, 64)
	jobName := c.Param("jobName")
	data, err := service.BuidStatus(jobName, buidId)
	if err != nil {
		c.JSON(http.StatusInternalServerError, err.Error())
	}
	c.JSON(http.StatusOK, data)
}

service/cicd/jenkins.go

package service

import (
	"context"
	"github.com/bndr/gojenkins"
	"k8s.io/klog/v2"
)

type Job struct {
	Name string
	Url  string
}

func getJenkins() *gojenkins.Jenkins {
	jenkins := gojenkins.CreateJenkins(nil, "http://xx.xx.xx.250:31837", "阿德民", "123456")
	return jenkins
}

func GetJob() (any, error) {
	ctx := context.Background()
	jenkins := getJenkins()
	klog.Info("jenkins", jenkins)
	_, err := jenkins.Init(ctx)
	jobs, err := jenkins.GetAllJobNames(ctx)
	if err != nil {
		klog.Info(err)
	}
	queueid, err := jenkins.BuildJob(ctx, "app", nil)
	if err != nil {
		klog.Info(err)
	}
	klog.Info("queueid:", queueid)

	return jobs, err
}

func BuildJob(jobName string) (int64, error) {
	ctx := context.Background()
	jenkins := getJenkins()
	_, err := jenkins.Init(ctx)
	//jobName := "xxxx"
	queueid, err := jenkins.BuildJob(ctx, jobName, nil)
	if err != nil {
		klog.Info(err)
	}
	klog.Info("queueid:", queueid)

	return queueid, err
}

func GetBuildList(jobName string) (any, error) {
	ctx := context.Background()
	jenkins := getJenkins()
	_, err := jenkins.Init(ctx)
	builds, err := jenkins.GetAllBuildIds(ctx, jobName)
	if err != nil {
		klog.Info(err, builds)
	}
	return builds, err
}

func BuidStatus(jobName string, buildId int64) (any, error) {
	ctx := context.Background()
	jenkins := getJenkins()
	_, err := jenkins.Init(ctx)
	//buildId :=
	build, err := jenkins.GetBuild(ctx, jobName, buildId)
	klog.Info("jobName:", jobName, " buildId:", buildId)
	if err != nil {
		klog.Info(err)
	}
	data := build.GetResult()
	return data, err
}
jenkins pod
  • 启动异常 pod status 状态 RunContainerError
  • 使用/bin/sh 启动端口没有启动 ,查找hub官网，确认启动命令
  • 采用docker启动
  • 构建镜像java1.11
    docker run -d -uroot -p 8002:8080 -p 8003:50000 --name jenkins
apiVersion: apps/v1
kind: Deployment
metadata:
  name: jenkins-deployment
spec:
  selector:
    matchLabels:
      app: jenkins
  replicas: 1
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      nodeName: xxx.xxx
      containers:
      - name: jenkins
        image: jenkins:v1
        command: ["/usr/sbin/init"]
        securityContext:
          privileged: true
        lifecycle:
          postStart:
            exec:
              command: ['/bin/sh','-c','systemctl start jenkins']
        ports:
        - containerPort: 8080
        - containerPort: 50000
        volumeMounts:
        - name: vol
          #mountPath: /var/jenkins_home
          mountPath: /var/lib/jenkins
          #mountPath: /mnt
      volumes:
      - name: vol
        nfs:
          path: /home/app/tmp/cicd/work_dir/jenkins_centos
          server: xx.xx.xx.xx
nfs

安装nfs服务
启动nfs

  • yum install -y nfs-utils rpcbind
  • sudo systemctl enable rpcbind
  • sudo systemctl enable nfs
    Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
  • sudo systemctl start rpcbind
  • sudo systemctl start nfs
  • vi /etc/exports
/home/app/tmp/     *(rw,sync,no_root_squash,no_all_squash)
  • systemctl restart nfs
#showmount -e localhost
Export list for localhost:
/home/app/tmp *
  • 客户端配置
yum install -y nfs-utils rpcbind
systemctl enable rpcbind
systemctl start rpcbind
showmount -e xx.xx.xx.xx
推送镜像
  • 克隆镜像 docker tag app:v20221207 127.0.0.1:5000/app:v20221207
  • 上传镜像 docker push 127.0.0.1:5000/app:v20221207
  • 添加镜像源 vi /etc/docker/daemon.json
    • “insecure-registries”:[“127.0.0.1:5000”]
  • 查询镜像 curl -XGET http://127.0.0.1:5000/v2/_catalog
启动 deployment
  • 启动脚本 run.sh
echo 1 > /home/xxx/run.log
cd /home/tianyan
echo 2 >> /home/xxx/run.log
echo "xx.xx.xx.xx  xx.net" >> /etc/hosts
echo "xx.xx.xx.xx    xxx.net" >> /etc/hosts
echo 3 >> /home/xx/run.log
APP_ENV=dev  python manage.py runserver 0.0.0.0:80 >> run.log 2>&1
  • app_deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: app-deployment
spec:
  selector:
    matchLabels:
      app: app
  replicas: 1 # tells deployment to run 2 pods matching the template
  template:
    metadata:
      labels:
        app: app
    spec:
      nodeName: hostname
      containers:
      - name: app
        image: app:v1
        command: ["/usr/sbin/init"]  # 初始化
        securityContext:
          privileged: true # 打开特权模式 systemctl
        lifecycle:
          postStart:
            exec:
              command: ['/bin/sh','-c','/home/xx/run.sh &']
        ports:
        - containerPort: 80
        - containerPort: 22
        volumeMounts:
        - name: vol
          mountPath: /home/xx
      volumes:
      - name: vol
        hostPath:
          path: /home/xx/code
  • app_service.yaml
apiVersion: v1
kind: Service
metadata:
    name: app
spec:
    type: NodePort
    ports:
    - name: web
      port: 9080
      targetPort: 80
    - name: ssh
      port: 9022
      targetPort: 22
    selector:
      app: app

kubectl get pod
app-deployment-xx-xx   0/1     Terminating   0             93m # Terminating pod 退出
app-deployment-xx-xx   0/1     Terminating   0             65m
app-deployment-xx-xx   1/1     Running       0             6m4s
app-deployment-xx-xx   0/1     Terminating   0             28m

网络

抓包分析

  • tcpdump -nn -q -i eth0 port 80
haogeoyes
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
IAST技术进阶系列（四）：DevOps流水线敏捷实践
Anprou的博客
03-25 4599
数字经济时代，企业的数字化转型已经成为企业发展的重要驱动力之一。无论是传统行业还是互联网数字化转型的内生需求，都需要研发运营模式向敏捷交付一体化发展，即从传统的瀑布式开发到敏捷开发，再演进到当下热门的DevOps研运一体化。 图1三种应用开发模式对比 随着企业对代码安全性、安全测试与漏洞扫描、第三方开源组件的安全性、设计符合安全标准和规范等安全问题越来越重视，DevOps带动了DevSecOps安全框架的兴起。悬镜安全作为国内DevSecOps敏捷安全领导者，以前瞻性的思维及多年的技术沉淀，助.
DevOps - Pipeline 流水线
IoTHub - 物联网开源技术社区
02-19 1277
Pipeline 是一套运行在 Jenkins 上的工作流框架，将原来独立运行于单个或者多个节点 的任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。
9.Devops实战篇之——流水线pipeline
最新发布
PSYCHO0921的博客
05-22 1752
Jenkins-pipeline实践
Devops-Jenkins 流水线pipeline
m0_52369979的博客
09-15 308
架构 Jenkins + Gitlab + Docker + Harbor + Maven + SonarQube 实现pipeline流水线构建项目
DevOps教程：DevOps 流水线和方法论
dancuowang的博客
10-28 2882
【注】本文译自：https://www.javatpoint.com/devops-pipeline-and-methodology DevOps 流水线   DevOps流水线软件工程团队中的流水线是一组自动化流程，使 DevOps 专业人员和开发人员能够可靠而有效地编译，构建并将其代码部署到生产计算平台。 DevOps 流水线中最常见的组件是构建自动化或持续集成、测试自动化和部署自动化。 流水线包含一组工具，这些工具分为以下几类： 源代码控制 构建工具 容器化 配置管理 监控 持续集成
DevOps - Jenkins可视化流水线（后端部分）
qq_41847894的博客
01-03 1578
💌 本章我们来学习 DevOps 开发部署全流程，直接在 KubeSphere 中创建可视化流水线，将一个医疗挂号系统自动化部署上云。
运维-建设CICD助推DevOps-刘斌-易宝支付-下载版.pdf
08-23
2. **制品在流水线保持不变**：一旦制品创建，其内容不应在后续流程中被修改。 3. **源出一处**：代码应从单一主分支（如master或main）合并，避免不稳定分支的直接合并。 4. **制品可关联、追溯**：每个制品都有...
devops--PPT演讲系列（4）.rar
03-13
devops主题系列演讲一共有14个部分，这是第4部分，每个部分里有10个大佬演讲...王莹-基于 DevOps 的资源交付流水线.pdf 叶赫华-好买基金 DevOps 实践的痛与快.pdf 张浩水-证券行业DevOps第一步：IT资源自动化管理.pdf
gitlab-cicd(devops)搭建测试案例.docx
03-11
本文搭建了gitlab-cicd(devops)环境，在IDEA开发环境中编写代码后，git push到代码gitlab仓库后，根据.gitlab-ci.yml文件，自动触发流水线
terraform-aks-cicd
02-13
在这个场景下，我们将利用 Azure DevOps 创建一个 CI/CD 流水线，该流水线能够响应代码仓库中的更改，自动运行 Terraform 脚本，部署或更新 AKS 集群，并可能包括应用的容器化、推送镜像到注册表以及将这些镜像部署...
以应用为中心的云原生cicd平台 - 流水线模板/并行构建/多环境管理/权限控制 - 致力于让中小企业快速落地
11-21
AtomCI 一款云原生CICD平台，致力于让中小企业快速落地Kubernetes，支持k8s/reigstry/jenkins/代码源的轻松集成，高并发的流水线，云原生yaml支持，多环境灵活管理，权限控制等
devops全开源端到端部署流水线
03-14
devops流水线视频，高校运维社区制作，讲解devops端到端持续交付流水线1.0
DevOps流水线之数据库篇
02-25
部分企业在实施DevOps过程中，发现数据库的升级成为企业DevOps流水线上的核心瓶颈，应用程序发布频率越来越快，但是数据库依然采用手工更新的方式，导致数据库升级效率低下、风险较大。所以建立一套完整的应用+数据库的DevOps流水线是至关重要的。接下来小编将带大家手把手搭建一套基于TeamFoundationServer的数据库CI、CD流水线。基于数据库升级\迁移脚本：采用像编写应用代码一样的方式去编写数据库升级脚本，对脚本文件进行顺序编号并迁入代码库，在持续发布阶段按照编号依次顺序执行数据库升级脚本。完成数据库的升级\变更动作。可以使用Flyway,Evolve,Liquebase等工具
手把手教您构建自己的 DevOps 流水线
01-26
导读：DevOps 是一套实践方法，在保证高质量的前提下缩短系统变更从提交到部署至生产环境的时间，其中持续集成和持续交付是 DevOps 里面非常重要的一环。本文讲述了达到自动化持续交付需要做的准备工作，流水线构建方法和最佳实践。
【DevOps】Jenkins 流水线 & Kubernetes
记录了，但是完全不会。
06-20 667
Jenkins流水线：包括Maven构建，SonarQube代码质量监测，制作镜像并发布Harbor，Kubernetes发布程序，钉钉通知构建结果。
KubeSphere DevOps 流水线入门指南
KubeSphere
11-01 5319
作者：赵海亮，浙江大学计算机专业四年级在读博士生，研究方向为云计算、边缘计算、分布式系统等。 虽然 KubeSphere 能够将我们从 yaml 文件的编写中解放出来，但是项目上云仍然十分繁琐。 此外，一旦项目源代码发生更替（如发布新功能或去除 bug 等），所有组件都需要重新经历 “源码打包 --> 制作镜像 --> 启动容器” 这个流程。 这意味着，项目运维人员不得不从事大量重复性劳动。为了提高项目发布的效率，工业界引入了 DevOps 的概念。 本文首先将介绍 DevOps 是什么，随
DevOps基础-5.3-持续交付：持续交付流水线
Anthony_tester的博客
09-10 3745
       在上一篇，我们讨论了持续交付流水线（英文是The continuous delivery pipeline）的第一阶段，即持续集成。在本篇文章中，我们将介绍其余的持续交付流程。在前面文章我把pipeline翻译成了管道，现在这里纠正一下，可能采用流水线翻译更好一些。什么是持续交付流水线呢？请看下面这个图。         PS：我的实际工作主要的任务就写CI和CD脚本，运行并进...
企业DevOps之路：Jenkins 流水线
天行健，君子以自强不息；地势坤，君子以厚德载物。
04-06 942
1. Pipeline 概述Pipeline 即流水线，是 jenkins2.X 的新特性，是 jenkins 官方推荐使用的持续集成方案。与传统的自由风格项目不同，它是通过 jenkins DSL 编写代码来实现。相比于之前用户只能通过 Web 界面进行配置的方式来定义 Jenkins 任务，现在通过使用 jenkins DSL 和 Groovy 语言编写程序，用户可以...
ansible-for-devops-2018-414页
05-22
书中还可能讨论了如何将Ansible与其他DevOps工具集成，如Jenkins（用于持续集成）和Docker（容器化技术），以构建强大的自动化流水线。此外，作者可能分享了实际案例和经验教训，帮助读者将理论知识转化为实践操作。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值