Jenkins自动化更新Stable Diffusion服务-CSDN博客

前言

在持续集成/持续交付(CI/CD)实践中,自动化部署是一个非常重要的环节。通过自动化部署,我们可以减少人工操作,提高效率,降低风险。本文将介绍如何使用Jenkins自动化更新Stable Diffusion服务。

准备工作

确保已经安装并配置好Jenkins。
在Jenkins中安装必要的插件,如AWS CLI、Docker等。
准备好Stable Diffusion服务的代码库,并将其添加到Jenkins中。

创建Jenkins任务

在Jenkins中创建一个新的任务,选择"构建一个自由风格的软件项目"。
配置任务的通用选项,如描述、JDK版本等。
添加构建步骤,选择"执行Shell"。
在Shell脚本中添加更新Stable Diffusion服务的命令,例如:

#!/bin/bash

# 设置环境变量
ENV=test
HOST=10.0.9.136
USER=${ENV}-sd-ai
VERSION=$(date +%Y%m%d%H%M%S)
DINGDING_TOKEN=81e0f99e387c24ccc1c008f1de939d500745be7667e62b4a53df3e5d582ae6ce
API_IMAGE=820700710667.dkr.ecr.us-east-1.amazonaws.com/ai/sdwebuieks:${ENV}
QUEU_IMAGE=820700710667.dkr.ecr.us-east-1.amazonaws.com/ai/queue_agenteks:${VERSION}

# 登录 ECR 并获取镜像
get_image(){
  local DEV_QUEUE_AGENT=$(cat /root/dev_queue_agenteks.txt)
  # 使用 AWS CLI 获取登录凭证并登录 ECR
  sudo /usr/local/bin/aws ecr get-login-password --region us-east-1 | sudo docker login --username AWS --password-stdin 820700710667.dkr.ecr.us-east-1.amazonaws.com
  # 拉取开发环境镜像、重新标记并推送到测试环境
  docker pull "${DEV_QUEUE_AGENT_IMAGE}"
  docker tag "${DEV_QUEUE_AGENT_IMAGE}" "${QUEU_IMAGE}"
  docker push "${QUEU_IMAGE}"
  # 更新镜像记录文件并清理本地镜像
  echo "${QUEU_IMAGE}" >/root/"${ENV}"_queue_agenteks.txt
  docker rmi -f "${DEV_QUEUE_AGENT_IMAGE}" "${QUEU_IMAGE}"
}

# 获取 BottleRocket 镜像快照 ID
get_snapshot_id(){
  local SNAPSHOT_LOG="/root/stable-diffusion-on-eks/utils/bottlerocket-images-cache/${ENV}-sd-log.txt"
  cd /root/stable-diffusion-on-eks/utils/bottlerocket-images-cache || return
  # 生成镜像快照并获取快照 ID
  ./snapshot.sh "${API_IMAGE},${QUEU_IMAGE}" | tee "${SNAPSHOT_LOG}"
  export SNAPSHOT_ID=$(grep -oEi 'snap-[a-z0-9]+' "${SNAPSHOT_LOG}" | tail -1)
}

# 更新 EKS 服务
update_service(){
  local NODETEMPLATES=("sd-01-sd-on-eks-nodetemplate-gpu" "sd-02-sd-on-eks-nodetemplate-gpu" "sd-03-sd-on-eks-nodetemplate-gpu")
  local DEPLOYMENTS=("sd-01-sd-on-eks-inference-api" "sd-02-sd-on-eks-inference-api" "sd-03-sd-on-eks-inference-api")
  # 更新 AWSNodeTemplate
  for nodetemplate in "${NODETEMPLATES[@]}"; do
      ssh "${USER}@${HOST}" "kubectl patch AWSNodeTemplate ${nodetemplate} --type='json' -p '[{\"op\":\"replace\", \"path\":\"/spec/blockDeviceMappings/1/ebs/snapshotID\", \"value\":\"${SNAPSHOT_ID}\"}]'"
  done
  # 更新 Deployment 镜像
  for deployment in "${DEPLOYMENTS[@]}"; do
    ssh "${USER}@${HOST}" "kubectl set image deployment/${deployment} inference-api=${API_IMAGE}"
    ssh "${USER}@${HOST}" "kubectl set image deployment/${deployment} queue-agent=${QUEU_IMAGE}"
  done

# 发送 DingDing 通知
send_dingding(){
  curl "https://oapi.dingtalk.com/robot/send?access_token=${DINGDING_TOKEN}" \
      -H 'Content-Type: application/json' \
      -d ' {"msgtype": "markdown","markdown": {"title":"Update '"${ENV}-sdoneks"' Success","text": "<font face='"'黑体'"' color='"'#00EC00'"'>Update '"${ENV}-sdoneks"' Success</font>\n"}}'
}

# 主函数
main() {
  get_image
  get_snapshot_id
  update_service
  send_dingding
}