gitlab-ci+docker+docker-compose自动部署到远程服务器(springcloud)

最新推荐文章于 2024-06-26 15:57:26 发布
最新推荐文章于 2024-06-26 15:57:26 发布
阅读量1.4k 收藏 4
点赞数
分类专栏： docker  docker-compose 文章标签： linux docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40286085/article/details/114526031
版权

⚠️注意:主要技术有

gitlab-ci
docker
docker-compose   语法规则
shell
linux

涉及到的知识点

**skywalking-oap**  链路追踪
需单独部署skywalking-oap服务,然后就只需要配置即可
> https://www.cnblogs.com/yougewe/p/11973117.html

**volumes**  保存Docker容器生成和使用的数据的首选机制
例如:当删除容器时,容器之前产生的数据会同时被删除,如果数据不想被删除,则可配置数据挂载到指定文件夹
> https://blog.csdn.net/dhaiuda/article/details/82842873

**network**  解决网络隔离问题
通常应用于集群服务，从而使得不同的应用程序得以在相同的网络中运行
> https://www.cnblogs.com/jiangzhaowei/p/10124499.html

**gitlab-runner**  执行软件集成脚本
>https://blog.csdn.net/weixin_40286085/article/details/114532186

项目结构

链路追踪skywalking-oap

因为部署了skywalking-oap服务,则只需要将文件夹拷贝至项目下面即可,下载地址
链接:https://pan.baidu.com/s/1pDWrneyOmoSP38nR0J_jKA  密码:l4fw

docker配置

新建docker-compose.yml文件
在这里插入图片描述

docker-compose.yml文件内容
在这里插入图片描述

version : docker版本
order_service1 : 自定义服务名称
container-name : 容器名称
image : 镜像下载地址
expose : 项目端口号  
volumes : 挂载  --将容器中的文件进行指定地址同步
environment :环境配置
NACOS_URL : nacos的端口号
NACOS_NAMESPACE : nacos对应的命名空间名称
AGENT_SERVICE_NAME : 自定义链路追踪名称
AGENT_URL : 链路追踪名称和端口
external_links : 需要连接的服务名称

项目下新建Dockerfile文件–服务打包在这里插入图片描述
内容为:

FROM java:8
COPY  ./jar/order-service.jar /app.jar   
COPY ./agent /agent     
ENTRYPOINT ["sh","-c","java -jar -Xms512m -Xmx512m -javaagent:/agent/skywalking-agent.jar=agent.service_name=$AGENT_SERVICE_NAME,collector.backend_service=$AGENT_URL /app.jar --nacos-url=$NACOS_URL --nacos-namespace=$NACOS_NAMESPACE"]

解释:

#将订单服务复制到容器下的/app.jar
#将链路追踪文件复制到docker容器下
#服务打包命令
#AGENT_SERVICE_NAME、AGENT_URL、NACOS_URL、NACOS_NAMESPACE对应docker-compose.yml文件下的环境变量配置的名称

项目下新建.gitlab-ci.yml文件–shell部署脚本

image: docker:stable  #docker镜像

variables:
  SERVER_NAME: order-service  #服务名称--对应pom.xml里面打包的名称
  DOCKER_SERVER_LOGIN: docker login -u $docker_username -p $docker_password $docker_host   #docker登陆--$docker_username、$docker_password、$docker_host对应gitlab中全局设置下的CI/CD
  DOCKER_SERVER_LOGIN_OUT: docker logout $docker_host  #docker登出
  JAR_HOME: ./order-service-start/target/order-service.jar #服务jar包的地址
  BUILD_JAR_HOME: ./jar/   #复制的服务jar包地址
  IMAGE_NAME: $docker_host/platform4/order-service:latest  #订单服务镜像默认最新版本
  TAG_IMAGE_NAME: $docker_host/platform4/order-service:$CI_COMMIT_TAG  #带版本号的订单服务镜像版本 CI_COMMIT_TAG为runner参数

stages:   #流程步骤,对应下面的stage
  - test
  - build
  - build-image
  - release
  - deploy

测试:
  image: $docker_host/gs_maven:3.6.3-jdk-8  #使用的镜像
  stage: test
  script:
    - mvn -Dmaven.repo.local=.m2/repository test #mvn打包脚本--指定运行mvn test后,在项目下生成.m2文件夹存放jar包
  tags:
    - platform4  #对应gitlab-runner下的项目名称
  cache: # 缓存依赖
    key: MAVEN_REPOSITORY
    paths:
      - .m2/repository
  only:   #条件判断为dev才有测试步骤
    refs:
      - dev

构建jar:
  image: $docker_host/gs_maven:3.6.3-jdk-8
  stage: build
  variables:
    #maven 命令参数
    MAVEN_COMMAND_ARGS: -Dmaven.repo.local=.m2/repository -Dmaven.test.skip=true
  script:
    #maven 项目打包
    - mvn $MAVEN_COMMAND_ARGS package
    - if [ ! -d $BUILD_JAR_HOME ];  then mkdir -p $BUILD_JAR_HOME; fi  #判断生成的jar路径是否存在,不存在就创建
    - cp $JAR_HOME $BUILD_JAR_HOME
  artifacts: #jar产物保存一天
    expire_in: 1 day
    name: "${CI_COMMIT_REF_SLUG}-${CI_JOB_NAME}"
    paths:
      - $BUILD_JAR_HOME
  cache: # 缓存依赖
    key: MAVEN_REPOSITORY
    paths:
      - .m2/repository
  tags:
    - platform4
  only:
    refs:
      - dev
  needs: ["测试"]

构建jar:版本:
  image: $docker_host/gs_maven:3.6.3-jdk-8
  stage: build
  variables:
    #maven 命令参数
    MAVEN_COMMAND_ARGS: -Dmaven.repo.local=.m2/repository -Dmaven.test.skip=true
  script:
    #maven 先设置版本并打包
    - mvn versions:set -DnewVersion=$CI_COMMIT_TAG-RELEASES
    - mvn $MAVEN_COMMAND_ARGS package
    - if [ ! -d $BUILD_JAR_HOME ];  then mkdir -p $BUILD_JAR_HOME; fi
    - cp $JAR_HOME $BUILD_JAR_HOME
  artifacts: #jar产物保存一天
    expire_in: 1 day
    name: "${CI_COMMIT_REF_SLUG}-${CI_JOB_NAME}"
    paths:
      - $BUILD_JAR_HOME
  cache: # 缓存依赖
    key: MAVEN_REPOSITORY
    paths:
      - .m2/repository
  tags:
    - platform4
  only:
    variables:
      - $CI_DEFAULT_BRANCH =='dev' && ($CI_COMMIT_TAG =~ /^t/ || $CI_COMMIT_TAG =~ /^v/)


构建镜像:
  stage: build-image
  script:
    # docker 镜像打包
    - docker build -t $IMAGE_NAME .
  tags:
    - platform4
  only:
    refs:
      - dev
  needs: ["构建jar"]

构建镜像:版本:
  stage: build-image
  script:
    # docker 镜像打包
    - docker build -t $TAG_IMAGE_NAME .
  tags:
    - platform4
  only:
    variables:
      - $CI_DEFAULT_BRANCH =='dev' && ($CI_COMMIT_TAG =~ /^t/ || $CI_COMMIT_TAG =~ /^v/)
  needs: ["构建jar:版本"]

发布maven:
  image: $docker_host/gs_maven:3.6.3-jdk-8
  stage: release
  dependencies: []   #为空说明不下载产物
  variables:
    #maven 命令参数
    MAVEN_COMMAND_ARGS: -Dmaven.repo.local=.m2/repository -Dmaven.test.skip=true
  script:
    #maven 发布
    - mvn $MAVEN_COMMAND_ARGS deploy
  cache: # 缓存依赖
    key: MAVEN_REPOSITORY
    paths:
      - .m2/repository
  tags:
    - platform4
  only:
    refs:
      - dev
  needs: ["构建jar"]


发布maven:版本:
  image: $docker_host/gs_maven:3.6.3-jdk-8
  stage: release
  dependencies: []
  variables:
    #maven 命令参数
    MAVEN_COMMAND_ARGS: -Dmaven.repo.local=.m2/repository -Dmaven.test.skip=true
  script:
    #maven 打版本发布
    - mvn versions:set -DnewVersion=$CI_COMMIT_TAG-RELEASES
    - mvn $MAVEN_COMMAND_ARGS deploy
  cache: # 缓存依赖
    key: MAVEN_REPOSITORY
    paths:
      - .m2/repository
  tags:
    - platform4
  only:
    refs:
      - dev
      - /^v/
      - /^t/
    variables:
      - $CI_DEFAULT_BRANCH =='dev' && ($CI_COMMIT_TAG =~ /^t/ || $CI_COMMIT_TAG =~ /^v/)
  needs: ["构建jar:版本"]


发布docker:
  stage: release
  dependencies: []
  script:
    # 登录镜像仓库
    - $DOCKER_SERVER_LOGIN
    # 上传
    - docker push $IMAGE_NAME
    # 删除
    - docker rmi $IMAGE_NAME
  tags:
    - platform4
  only:
    refs:
      - dev
  needs: ["构建镜像"]

发布docker:版本:
  stage: release
  dependencies: []
  script:
    # 登录镜像仓库
    - $DOCKER_SERVER_LOGIN
    # 上传
    - docker push $TAG_IMAGE_NAME
    # 删除
    - docker rmi $TAG_IMAGE_NAME
  tags:
    - platform4
  only:
    variables:
      - $CI_DEFAULT_BRANCH =='dev' && ($CI_COMMIT_TAG =~ /^t/ || $CI_COMMIT_TAG =~ /^v/)
  needs: ["构建镜像:版本"]

部署开发环境:
  # 使用专用SSH镜像
  image: $docker_host/gs_ssh:latest
  stage: deploy
  dependencies: []
  variables:
    #SSH 连接命令参数,因为是在镜像中连接远程服务器,所以命令是ssh,如果只是在本服务器中,则不需要
    SSH_COMMAND: ssh $dev_server_user@$dev_server_host
    #部署文件夹 当前登录用户目录
    FILE_DIR: /home/$dev_server_user/platform4/$SERVER_NAME
  script:
    # 检查目录docker-compose.yml 是否存在，存在则停止
    - $SSH_COMMAND "if [ -f $FILE_DIR/docker-compose.yml ];  then docker-compose -f $FILE_DIR/docker-compose.yml down; fi"
    # 判断镜像是否存在，存在则删除  
    - $SSH_COMMAND "if [[ \$(docker images -q ${IMAGE_NAME}) != '' ]]; then docker rmi $IMAGE_NAME; fi"
    # 目录不存在则创建目录
    - $SSH_COMMAND "if [ ! -d $FILE_DIR ];  then mkdir -p $FILE_DIR; fi"
    # 把部署脚本从当前服务器上传到测试服务器
    - scp ./docker/dev/docker-compose.yml $dev_server_user@$dev_server_host:$FILE_DIR
    # 登录docker 私有镜像仓库,并启动镜像,登出
    - $SSH_COMMAND "$DOCKER_SERVER_LOGIN"
    # 运行docker-compose 启动镜像
    - $SSH_COMMAND "docker-compose -f $FILE_DIR/docker-compose.yml up -d"
    # 登出
    - $SSH_COMMAND "$DOCKER_SERVER_LOGIN_OUT"
  tags:
    - platform4
  only:
    refs:
      - dev
  needs: ["发布docker"]

部署测试环境:
  stage: deploy
  dependencies: []
  script:
    - echo "部署测试环境-$TAG_IMAGE_NAME"
  tags:
    - platform4
  only:
    variables:
      - $CI_DEFAULT_BRANCH =='dev' && $CI_COMMIT_TAG =~ /^t/
  needs: ["发布docker:版本"]

部署生产环境:
  stage: deploy
  dependencies: []
  script:
    - echo "部署生产环境-$TAG_IMAGE_NAME"
  tags:
    - platform4
  # 手动部署生产
  when: manual
  only:
    variables:
      - $CI_DEFAULT_BRANCH =='dev' && $CI_COMMIT_TAG =~ /^v/
  needs: ["发布docker:版本"]

gitlab-runner参数

http://47.99.95.214:9091/help/ci/variables/README.md#custom-variables-validated-by-gitlab

最后提交代码,gitlab上就会自动进行部署,如图:
在这里插入图片描述

如果出现如下错误
在这里插入图片描述
则需要配置分支为受保护状态
在这里插入图片描述

一名正在学习的码农
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spring cloud+cicd[gitlabci-runner]+docker-compose 微服务框架
wuqingsssss的博客
09-07 880
文章目录spring boot 小微服务框架-docker-composeeurekaapollodocker/docker-composeDocker 资源限制之内gitlabgitlab仓库直接使用docker-registry搭建Harbor镜像私仓cicdgitlabci-runner注册Runnersrunner-shellrunner-dockerdocker开启认证的远程端口2376ci docker 模式中使用docker远程执行shell部署ssh证书登录（密钥创建与用户设置）.gitla
基于Jenkins+Docker+Github实现SpringCloud自动化部署
Hpsyche的博客
04-05 2321
前言 本博文主要介绍了基于Jenkins+Docker+Github实现了对SpringCloud微服务项目的快速打包、部署。 正文 项目准备 首先有如下SpringCloud项目（这里以本人的毕设项目举例），目录结构如下： bishe_base中的每个module代表一个服务，其中client为后缀的代表的是客户端，其用来暴露server服务中提供的服务接口，给外部的服务使用。 为了让项目最终...
gitlab-ci+docker+docker-compose自动化部署javaweb项目
weixin_40286085的博客
03-16 636
1.在项目下新建Dockerfile文件 #第一步:下载tomcat镜像 #通过docker下载tomcat镜像,因为tomat镜像肯定有jdk,所以我们就不用单独再装jdk #第二步:编写dockerfile #建立dockerfile告诉docker需要做什么: 将war包放到项目目录下 FROM hub.c.163.com/library/tomcat MAINTAINER wangwb@galasys.cn #通过copy命令将war包复制到tomcat的webapps下 COPY ./wa
从0开始使用Docker搭建Gitlab环境以及实现项目（CI/CD）自动部署与持续集成
最新发布
qq_44956803的博客
06-26 1108
从0开始一步一步的教你使用VMware创建虚拟机安装Docker并部署Gitlab实现CI/CD
基于docker-compose的Gitlab CI/CD实践&排坑指南
dotNET跨平台
12-24 654
长话短说经过长时间实操验证，终于完成基于Gitlab的CI/CD实践，本次实践的坑位很多， 实操过程尽量接近最佳实践（不做hack, 不做骚操作），记录下来加深理解。看过博客园《dock...
gitlab+docker+docker_compose实现CICD
m0_48022847的博客
06-30 1068
gitlab+docker+docker_compose实现CICD 作为云原生的一名初学者,此篇文章仅用于记录CICD学习过程,不代表任何专业观点,文章有多处引用,引用处皆有标记,引用处皆来自各大论坛和平台的开源文章,原作者看见后如有不能允许转载的意愿,请文章留言,文章如有书写错误处,也请各位评论指出,下面开始正式介绍 简介 从8.0版开始，GitLab持续集成(CI)完全集成到GitLab本身，它还具有持续部署和持续交付功能，可用于构建、测试和部署你的应用程序。 步骤主要分为2步: 1.项目添加gitl
docker-compose:带有Docker + Docker Compose的容器-适用于CI
05-15
这对于使用“ Docker in Docker”的CI管道非常有用。 支持的Docker版本 有基于不同的泊坞窗版本的版本，例如latest ， 20.10 ， 19.03和19 。 docker-compose与发布docker版本时可用的最新次要版本相匹配。 例如，...
docker-ci：docker-ci是一个docker程序，它使您可以在docker-compose文件中使用标签进行轻松的持续集成
01-31
Docker-CI Docker-CI是一个小程序，可让您使用Github Container Registry或DockerHub轻松实现持续集成。 它使用标签设置不同的选项以为每个容器启用Docker-ci。 Docker-CI监视容器的创建，这意味着您不必在更新...
docker-gitlab-ci-multi-runner-perl:Docker for Gitlab CI Runner of Perl
07-18
带有 gitlab-ci-multi-runner 的 Docker 镜像以使用 perl 运行构建 带有 gitlab-ci-multi-runner 的 Docker 镜像，可以运行 perl 构建。 它使用来管理 perl 版本。 如何使用 文件示例 ( docker-compose.yml ) ...
gitlab ci & docker compose 踩坑记
BlurryFaceIsMe的博客
10-20 198
最近因为需要使用gitlab上的CI/CD进行自动部署，涉及到了使用docker-compose搭建的远程服务器环境，踩了很多坑，特此记录一下。 .git-ci.yml 样例 stages: # 分段 - build - deploy - restart - stop restart-server-dev-job: stage: restart script: - echo "=============== 停止服务器 ===============" - ch
spring-cloud-ci-template:使用GitLab和Docker的Spring Cloud模板项目和CI
05-02
Spring Cloud GitLab Docker CI搭建 Spring Cloud template projects and CI with GitLab and Docker 目标 搭建Spring Cloud + GitLab + Docker的持续集成开发环境。 内容 Spring Cloud Hello World工程: 含Eureka，Feign/Hystrix，Zuul GitLab及持续集成配置 Docker及本地Docker仓库 预备环境 CentOS7 Linux主机两台： 主机A: GitLab及GitLab Runner环境，本文档中IP为192.168.1.211 主机B：Spring Cloud工程开发运行环境, 本文档中IP为192.168.1.212 预备知识 掌握基本Spring Boot开发 掌握Linux，Git，Maven基础操作 了解Dock
【架构设计】CI全流程：Git代码提交，Jenkins自动打包，自动制作docker镜像提交私仓，Rancher部署服务
qqchaozai的专栏
04-21 556
环境准备 gitlab，Jenkins，私仓，rancher平台搭建，略，后续补充 给工程配置Dockerfile，样例： FROM openjdk:8 MAINTAINER test <test@demo.com.cn> RUN mkdir -p /usr/local/app/download/1 ADD application-produce.properti...
如何打包Docker镜像并推送到远程仓库
weixin_34067049的博客
03-18 3618
这个demo简单演示了如何把一个flask的 Hello World 页面打包成docker镜像, 并且发到远程镜像仓库的方法. 0.新建 Docker 镜像 首先, 新建应用文件app.py, requirments.txt, 和一个docker文件. mkdir demo && cd demo touch Dockerfile app.py requirements.txt...
特此记录-使用gitlab ci和 dockerfile和docker-compose 持续集成部署多个项目
weijx_的博客
12-16 2561
这种方式可以同时运行多个maven子项目 所有的代码都在gitlab.yml 和dockerfile和docker-compose 中完成的 包括jdk和maven环境以及打包部署启动 首先看下项目的目录结构和Dockerfile以及gitlab-ci文件的放置位置 说明： 1.根目录下的 Dockerfile文件是搭建 jdk和maven的环境和配置环境变量的镜像 2.api和dispatch目录下的Dockerfile文件是创建对应的镜像 3.docker-compose文件是运行启动jar的
gitlab使用docker自动化部署springcloud项目
zhwillwin的博客
02-09 2656
目的 目前在学习docker，因为公司用的是svn跟jenkins，我想用gitlab自带的CI/CD配合docker自动化部署springcloud项目 安装gitlab gitlab镜像 docker pull gitlab/gitlab-ee 挂载文件： 通常会将 GitLab 的配置 (etc) 、 日志 (log) 、数据 (data) 放到容器之外， 便于日后升级， 因此请...
部署-centos安装docker
coderchenhao的博客
09-12 174
docker简单介绍 docker是一门容器虚拟化的技术。它能够实现环境+软件一起打包的效果，因此它能避免因为环境不一样而导致的各种问题，大大的提高了软件的部署效率。而且在docker仓库上已经有非常多的镜像可以选择，当我们需要安装某些软件时，可以直接从docker仓库中查找并进行安装，减少手动配置的工作量。 本机环境 博主这里的服务器环境是centos8，不能直接使用官网推荐的安装方法进行安装。 #查看本机linux系统，博主的是CentOS Linux release 8.2.2004 (Core) c
gitlab 下spring Cloud持续集成配置
weixin_34226706的博客
03-25 679
前提 有gitlab 环境, 目标机器有java运行环境 复制代码 一、安装gitlab-runner docker run -d --name gitlab-runner --restart always -v $PWD/config:/etc/gitlab-runner -v /var/run/docker.sock:/var/run/docker.sock gitlab/gitlab-run...
Gitlab+Gitlab-CI+Docker实现持续集成(CI)与持续部署(CD)
留歌__36的博客
10-15 3524
写在前面 记录一下，一个自动化开发部署项目的构建过程与简单使用，实现真正的DevOps gitlab安装 步骤一：安装依赖 yum -y install git gcc glibc-static telnet yum -y install curl policycoreutils-python openssh-server systemctl enable sshd systemctl sta...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值