Jenkins详细实践:SpringBoot+Jenkins+Gitlab+Docker-Maven插件

最新推荐文章于 2024-06-23 20:28:54 发布
最新推荐文章于 2024-06-23 20:28:54 发布
阅读量1w 收藏 36
点赞数 1
分类专栏： # Docker 文章标签： Jenkins Docker mvn找不到 Maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alinyua/article/details/81103570
版权

本文使用SpringBoot项目完成一个简单的Jenkins实践,利用docker-maven插件实现Docker从build到run再到push的完整流程,大大简化了Jenkins相关工作,不必再为Jenkins配置证书和编写额外的脚本.

写在前面

简化的关键在于fabric8io的docker-maven-plugin插件,利用它可以实现用maven指令对docker远程控制,网上其他文章的思路大多是利用spotify的maven插件完成docker镜像的build和push,再编写脚本文件,让Jenkins通过SSL在docker主机上远程执行脚本,达到在远程主机运行docker容器的目的.
这种做法第一是太麻烦,远程执行脚本需要配置SSL免密码访问,第二是SpringBoot项目和脚本耦合度高,由于镜像是在SpringBoot的插件完成相关构造的,而脚本其实就是死代码,必须人为地保证两者的统一协调.
而使用fabric8io的docker-maven-plugin则可以完整地控制docker镜像/容器的生命流程,从而避开这些问题.当然,用脚本自由度会比较高,可以做其他的事情,这个见仁见智.

以下是关于docker远程控制和插件使用的两篇文章:
Docker 守护进程+远程连接+安全访问
最强大的Docker插件 fabric8io/docker-maven-plugin

另外,Jenkins跑起来是比较耗资源的,如果Jenkins运行时突然挂掉,那多半是因为内存不足.我是使用docker来运行Jenkins的,有时候它还会把别的docker容器给挤挂了,无奈下只能另买一台阿里的学生机供Jenkins使用

如下图,是对Jenkins容器的单独监控,可以看到工作时运行内存占用在1.2G左右,这还只是在Docker内部,如果docker还有其他的容器在运行,再加上linux其他的服务,其实内存很容易就不够用的,另外,即使不挂,内存不够的情况下也可能导致Jenkins内部的任务执行出错,这种错误往往来得很莫名其妙,下文遇到的时候再介绍.
Jenkins容器监控

一 部署Jenkins

我使用的是docker部署,指令如下

docker run -p 9003:8080 -p 9004:50000 -v /opt/docker-volume/jenkins2:/var/jenkins_home -u root  --name lin_jenkins -d  jenkins/jenkins:lts

这里需要注意的是,jenkins/jenkins:lts并不是默认的官方镜像,官方镜像已经被废弃(deprecated )了,jenkins在Docker Hub的镜像首页推荐使用jenkins/jenkins:lts.

另外,因为Jenkins会产生比较多的文件(比方说一些插件和运行环境)在/var/jenkins_home目录下,所以建议将这个目录挂载出来

接下来登录 IP:9003 就可以访问Jenkins了

二 配置Jenkins环境

1 初次登录

  1. 使用管理员密码
    初次访问Jenkins需要使用管理员密码,密码在”/var/jenkins_home/secrets/initialAdminPassword”下.
    由于我们已经把/var/jenkins_home挂载到/opt/docker-volume/jenkins2了,所以直接运行cat /opt/docker-volume/jenkins2/secrets/initialAdminPassword就可以获取密码,复制粘贴点继续
  2. 安装推荐的插件
  3. 创建第一个管理员用户,如果只是想尝试的话也可以直接点下面小字的”使用admin账户继续”
  4. 一直按下一步指定进入Jenkins

2 全局工具配置

“系统管理”->”全局工具配置”
全局工具配置
因为是在docker内,使用外部系统的JDK和Maven等工具比较麻烦,所以我这里直接使用自动下载,这里需要自己选定配置的工具有JDK,Git,Maven

注意,全局工具只有在第一次用到的时候才会去下载,以Maven为例,如果含”mvn”命令的shell脚本在第一次”调用顶层Maven目标”之前执行,则会报“sh: mvn: not found”错误
1. JDK
我选用的是JDK8,注意自动安装JDK的话需要Oracle账号
JDK
2. Git
Git
3. Maven
Maven

最后记得点 Save保存

3 插件管理

“系统管理”->”插件管理”
先点击”可选插件”,再通过右上角的”过滤”来筛选,这里我们需要安装两个插件,GitLab,Maven Integration

  • GitLab插件的作用是当gitlab有push时触发jenkins拉取代码和将构建状态发送回GitLab
  • Maven Integration用来简化建造Maven工程.

4 全局安全配置

“系统管理”->”全局安全配置”
关闭防止跨站点请求伪造,原因如下:

webhooks与jenkins配合使用时提示：HTTPStatus403-Novalidcrumbwasincludedintherequest,这是因为jenkins在http请求头部中放置了一个名为.crumb的token。在使用了反向代理，并且在jenkins设置中勾选了“防止跨站点请求伪造（Prevent Cross Site Request Forgery exploits）”之后此token会被转发服务器apache/nginx认为是不合法头部而去掉。导致跳转失败。

防止跨站点请求伪造

5 系统设置

“系统管理”->”系统设置”

1. 配置环境变量

这里主要是设置”全局属性”中的”环境变量”
这里我们要设置的环境变量是Maven,如果环境变量没有设置好的话,会导致在非Maven任务(如自由风格任务)的时候使用shell命令是提示找不到mvn指令(Cannot run program “mvn” error=2, No such file or directory),或者是找不到其他的指令也是同理
另外,虽然上一步已经设置好Maven工具,但现在还没有下载,可以通过运行任务时在Maven顶级目录调用-v查看,这里我直接给出路径,前面的路径是一样的,后面的是安装时候给的Maven名

/var/jenkins_home/tools/hudson.tasks.Maven_MavenInstallation/MyMaven

环境配置如下图,就是增加了Maven的目录,再将maven目录下的bin添加到原Path里,使bin下的mvn指令可以在Path找到,就可以执行了
Path的值为:(用冒号而不是分号分隔)

$Path:$MAVEN_HOME/bin:

环境变量配置

2. 配置Gitlab

很多教程都有配这个,但这个又不能用于”源码管理”模块拉取代码,我一直很困惑这个配置有什么用,然后就找到了该插件的github项目地址才弄明白,链接:https://github.com/jenkinsci/gitlab-plugin

上面说了”GitLab”插件的作用是当gitlab有push时触发jenkins拉取代码和将构建状态发送回GitLab,这分别对应了两种状态:GitLab-to-Jenkins和Jenkins-to-GitLab,这里就是配置对应的授权信息的

  • 第一是Enable authentication for ‘/project’ end-point
    这个打个勾就可以了,它是负责GitLab-to-Jenkins身份验证的开关,如果这里关闭的话,任何人只要知道你项目的钩子地址(webhook URL)就可以疯狂触发任务,而且通常webhook URL又是按规则生成的,很容易猜,不安全,所以不建议关闭身份认证.
    另外,身份认证有两种,全局认证和每个项目认证,全局认证并没有减轻多少工作量(毕竟每个项目的webhook URL不能一样),而且还会带来全局密码泄露的风险,所以通常用的都是项目单独认证.感兴趣的可以去上面给的gitlab插件项目地址看使用说明.

  • 第二就是GitLab connections
    这里提供的是Jenkins-to-GitLab身份验证,此身份验证配置仅用于访问GitLab API以将构建状态发送到GitLab。它不用于克隆git repos。克隆凭证（通常是SSH凭证）应该在git插件中单独配置。

    1. 第一步,先到GitLab去获取授权token
      “User Settings”->”Access Tokens”
      注意这里使用的token权限范围是api
      GitLab Api Access Token
      点击创建后会出现Token,复制下来即可
    2. 点击Gitlab下Credentials旁边的Add添加授权信息
      添加凭证
    3. Test Connection,出现Success即可
      完整配置成功

三 配置Jenkins任务

1 创建任务

返回首页,选择”创建一个新任务”,如下,这里我们创建的是一个自由风格的项目,也可以选择maven项目(这是由于我们上面装的插件才有的),maven项目会配置好Maven环境变量,也就是说可以在shell运行”mvn”指令而不需要我们上面的环境变量配置,选定好确认进入
创建任务

2 丢弃旧的构建

这里保持构建的最大个数我设置为10
保持构建的最大个数

3 源码管理

源码管理选择Git

  • 配置Repository
    填写项目git地址,下面再配置访问凭据,过程和上面配置Api Token 的差不多,只不过是换成了使用用户名和密码.
    另外,需要注意,更常见的做法是使用SSH用户名配合私钥访问GitLab(SSH Username with private key),这是GitLab的教程说明https://gitlab.com/help/ssh/README#generating-a-new-ssh-key-pair,这里我就直接用密码登录了,有兴趣自己看
    Repositories
  • 配置Additional Behaviours
    另外还有一个大坑要注意,源码拉取的默认超时时间是10分钟,而GitLab本身访问就慢,大一点的项目在第一次拉取的时候往往会因为超时而拉取失败,这里就需要我们自定义超时时间.
    首先找到Additional Behaviours,点击旁边的Add,选择Advanced clone behaviours选项,在出来的配置里对Timeout (in minutes) for clone and fetch operations配置,我填的是200分钟
    超时配置

4 构建触发器

  • Jenkins配置
    选择Build when a change is pushed to GitLab. ,打开高级菜单,配置Allowed branches,默认是允许所有分支触发,这里我限制为只有 master才可以.关键要配置的是Secret token,点击Generate产生token
    “GitLab webhook URL”和”Secret token”GitLab需要用到,”GitLab webhook URL”是触发地址,”Secret token”则是访问认证,如上文所说,如果关闭了Enable authentication for ‘/project’ end-point的话,只要知道”GitLab webhook URL”任务就可能会被恶意触发
    触发器配置
  • GitLab配置
    到项目Settings下找到Integrations,在URL和Secret Token填入上一步获取到的值,然后点击Add webhook
    GitLab hook

5 构建

注意,这一部分要根据自己项目的功能来.需要注意的是,如果构建步骤里需要运行程序,那Jenkins会认为程序的运行也是构建的一部分,简单来说,就是运行个Java Web服务,由于程序一直不结束,所以构造也一直不会停止.
解决办法是保证成后台运行,并用BUILD_ID=dontKillMe避免构建结束时进程被杀.

以使用fabric8io的docker-maven插件为例:
相关使用见:
Docker 守护进程+远程连接+安全访问
最强大的Docker插件 fabric8io/docker-maven-plugin
这里我们分两部分来,因为run比较特殊,把它单独放在第二部分

  • 第一:调用顶层Maven目标
    注意,Maven版本那里不要选默认,要用自己的版本,目标那里输入Maven指令,不含”mvn”
    用Maven环境执行程序,执行如下指令,利用对远程docker主机的控制完成对原容器和镜像的移除,再新build镜像并推送
clean package docker:stop docker:remove docker:build docker:push
  • 第二:执行shell
    1. 用”BUILD_ID=dontKillMe “使Job退出后不杀掉在构建过程产生的Java进程(即我们的SpringBoot服务)
    2. 用”nohup mvn docker:run & “将SpringBoot的web服务伪装成后台运行,是Job得以退出而不是一直输出SpringBoot的控制台信息
BUILD_ID=dontKillMe
nohup mvn docker:run &

如果只是想尝试一下运行,不使用docker相关的话,则直接用shell运行如下指令即可

BUILD_ID=dontKillMe
nohup mvn clean package spring-boot:run &

构建

保存就可以了

四 测试运行

可以在工程主页点立即构建,或者在GitLab的Webhooks那里点Test,选择Push events,第一次为了验证和GitLab的连接,就用第二种方式吧
Test
然后就可以了,第一次拉取代码会比较花时间,而且可能失败.

五 常见问题

  1. Jenkins启动后自动结束退出
    可能原因:内存不足
  2. Jenkins执行shell脚本，提示“sh: mvn: not found”
    • 可能原因1:未配置好环境变量
    • 可能原因2:Jenkins的全局工具要等到第一次使用时才会下载,如果含”mvn”命令的shell脚本在第一次”调用顶层Maven目标”之前,则会报错
  3. Jenkins执行shell脚本，提示“未找到命令”
    可能原因:Jenkins默认情况下执行shell脚本是使用非登录方式，然而非登录方式不会加载 /etc/profile 文件，因此找不到在/etc/profile设置的环境变量，会提示“命令未找到”,解决办法是:在 Execute shell 中 添加如 #!/bin/sh -l 命令修改为登录方式即可
  4. “调用顶层Maven目标”时报错Cannot run program “mvn” error=2, No such file or directory
    可能原因:Maven版本那里选择了默认(中文是(默认),英文是（Default）,都是有括号的)而没有选择你自己配置的
  5. shell脚本/ ant / maven执行完毕，但Jenkins仍持续运行
    可能原因:”Spawning processes from build“,详情见https://wiki.jenkins.io/display/JENKINS/Spawning%20processes%20from%20build,简单地理解就是Jenkins构建的一部分可能是使用构建结果启动新的应用程序服务器,而Jenkins会捕获子进程的输出,所以看起来就是构建日志在监控重Shell/Maven等创建出来的程序的控制台输出,这个时候关闭Jenkins也会顺带地关闭其子进程而使web服务结束,解决办法就是将新进程标志为非Jenkins创建的,以此来躲避ProcessTreeKiller的追杀.ProcessTreeKiller是靠BUILD_ID来追踪识别的,所以把它改了就行BUILD_ID=dontKillMe,注意,如果Jenkins Pipeline使用JENKINS_NODE_COOKIE而不是BUILD_ID.同时,该进程不能是在前台运行的,可以通过daemonize 来包装成守护进程,但这需要额外安装,我使用的方法是用nohup + 指令 + &.
  6. Jenkins任务结束后 将 Web进程(守护进程)杀掉
    可能原因:见上
  7. Maven执行package时莫名出错,而且不给出原因
    可能原因:请检查内存,保证可用内存不低于100M
  8. 如果是构建Maven项目的话,中间是相当于”调用顶层Maven目标”的build,前后各可用添加Steps,我实践发现有时在后面的”Post Steps”并不一定在中间的”Build”执行完后才开始,但是Per Steps一定在Post Steps之前执行.所以当发生次序问题时可以通过插入无关步骤来修正顺序,当然,这一条我也不确定,各位看看就好.
  9. 其他
    暂时没想到,Jenkins的重启方法是访问:Jenkins地址/restart

参考:
https://wiki.jenkins.io/display/JENKINS/ProcessTreeKiller
https://wiki.jenkins.io/display/JENKINS/Spawning+processes+from+build
https://github.com/jenkinsci/gitlab-plugin
https://blog.csdn.net/wangbin0016/article/details/41948171
Docker 守护进程+远程连接+安全访问
最强大的Docker插件 fabric8io/docker-maven-plugin

if200
关注
  • 1
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker+Jenkins+GitLab+Maven+Harbor+SpringBoot自动化构建
06-10
1. Docker+Jenkins+GitLab+Maven+Harbor+SpringBoot自动化构建+Jenkins自动化部署配置 2.无须运维部署 ，而是相关的开发人员，测试人员登录jenkins传入需要部署的tag即可，整个部署过程无须运维参与，解放运维劳动力
从Maven构建Docker到Jenkins
YY的博客
09-08 536
从Maven构建Docker到Jenkins
使用Jenkins和dockerfile-maven-plugin部署项目
weixin_41029286的博客
06-13 1424
Jenkins节点： 博主的项目目录结构 在springboot子模块的pom文件添加plugin（我这里是在dockerfile-maven-plugin的pom中添加的） <build> <finalName>${project.artifactId}</finalName> <plugins> <plugin> <groupId>com.spotify</group
【jenkins1】gitlab与jenkins集成
最新发布
OpenBMC开发
06-23 2546
GitLab配置Access Token，用于jenkins连接GitLab获取GitLab API接口：点击右上角用户头像Edit profile，再点击左侧Access Tokens ，命名为gitlab_jenkins，Select scopes全部勾选上，点击创建产生如下字符串。官网https://www.jenkins.io/下载jenkins，可选择适合你自己系统的版本，也可选择不依赖于系统的docker（前提本机安装了docker）或war包（本机安装了java），如下开启。
可持续化集成(九)之Jenkins项目构建细节
weixin_53998054的博客
07-08 1309
Jenkins项目构建细节
jenkins dockerfile-maven-plugin 构建的惨痛过程
weixin_43824748的博客
10-13 2769
记录我jenkins dockerfile-maven-plugin 构建的惨痛过程1、no plugin found for prefix 'dockerfile' in the current project and in the plugin groups2 pom 文件找不到了3、jenkins访问docker 权限 问题4、error pulling image configuration: Get https://production.cloudflare.docker.com/registr
使用Maven打包Docker镜像-Jenkins版
weixin_33739541的博客
04-18 1552
2019独角兽企业重金招聘Python工程师标准>>> ...
springboot:Docker + Jenkins + GitLab + SpringBoot＆SpringCloud + Maven自动构建与部署工程代码
03-15
1，docker常用命令使用 1.1 docker rm命令强制删除容器 docker rm -f 1.2 docker rmi命令强制删除扩展 docker rmi -f 1.3 docker build命令强制指定Dockerfile文件进行编译 docker build -t 镜像名称:镜像版本号-f ...
Docker+Jenkins+GitLab+Maven+SpringBoot自动化构建.pdf
09-30
Docker+Jenkins+GitLab+Maven+SpringBoot&SpringCloud;自动化构建
基于Jenkins+Gitlab+Docker实现SpringBoot项目自动部署
03-24
基于Jenkins+Gitlab+Docker实现SpringBoot项目自动部署 本文主要介绍了基于Jenkins、Gitlab和Docker实现SpringBoot项目自动部署的方法。下面将从Jenkins的安装、配置到自动化构建和部署的整个过程进行详细说明。 ...
SpringBoot + maven + Jenkins + docker 实现docker集群一键自动化部署
09-27
项目基本结构是SpringBoot,集成了docker-maven插件实现build完的镜像上传到私服,然后用 Jenkins构建实现docker集群一键自动化部署
jenkins构建带有dockerfile-maven-plugins springboot工程
weixin_47372236的博客
07-27 627
1先讲一下大概原理，本地提交代码到gitlab，然后触发webhook，自动去下载代码到jenkins，jenkins通过publish over ssh插件把文件复制到远程服务器上，（有人会问为什么不通过jenkins构建maven工程，因为作者的jenkins是通过docker生成的，里面会有推送镜像到远程镜像仓库会失败）远程服务器上安装maven，并配置maven，生成镜像，运行镜像。（总结感觉比较鸡肋，没有我上一遍通过jenkins构建的简单） 2. ...
最新版jenkins安装及其填坑
weixin_44906977的博客
07-22 619
最新版安装见官网 gitlab+jenkins自动部署交互报错 此处需要关闭csrf保护，旧版本可以直接在jenkins系统全局管理处关闭 新版本中默认取消了，所以解决如下 1、vim /etc/sysconfig/jenkins JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true -Dhudson.security.csrf.GlobalCrumbIssuerConfiguration.DISABLE_CSRF_PROTECTION=true" 或者：安装插
gitlab+jenkins+docker持续集成环境搭建实战
老徐的博客只有干货
01-06 2729
持续集成（CI）是在源代码变更后自动检测、拉取、构建和（在大多数情况下）进行单元测试的过程。持续集成是启动管道的环节（尽管某些预验证 —— 通常称为 上线前检查(pre-flight checks) —— 有时会被归在持续集成之前）。本篇简明扼要，直击痛点，可以让急需构建CI/DI环境而无从下手的小伙伴。
jenkins从git拉代码时超时解决办法
热门推荐
wang_quan_li的专栏
09-14 1万+
进入job的配置，点击git下面的Add按钮，选择Advanced clone behaviours 之后在Timeout for clone and fetch operations中填写你要设置的时间，单位是分钟 保存即可构建
docker中运行Jenkins，在使用gitlab的webhook功能碰到一些坑
m0_46486020的博客
05-04 475
1、Hook executed successfully but returned HTTP 403 解决方法： 1、Manage Jenkins- >Configure Global Security-> 授权策略-> Logged-in users can do anything （登录用户可以做任何事情） 点选 -> 匿名用户具有可读权限 2、去掉Gitlab enable authentication 点选 放开 系统管理 -> 系统设置 -> En...
Docker + Jenkins + Gitlab 自动化构建部署
RAB
06-03 5308
Docker + Jenkins + Gitlab 自动化构建部署。
系统管理--配置Gitlab
weixin_30394669的博客
03-27 279
很多教程都有配这个,但这个又不能用于”源码管理”模块拉取代码,我一直很困惑这个配置有什么用,然后就找到了该插件的github项目地址才弄明白,链接:https://github.com/jenkinsci/gitlab-plugin ”GitLab”插件的作用是当gitlab有push时触发jenkins拉取代码和将构建状态发送回GitLab,这分别对应了两种状态:GitLab-to-...
docker-部署Jenkins集成Gitlab
孟孟的博客
12-12 1405
gitlab安装和基本使用见之前的博客gitlab安装及基本操作一、基本操作1、jeknins本机上需要安装git后然后重启jenkinsyum install git -y2、在gitlab上新建一个项目3、然后将这个项目clone后，增加一个test.py文件后再上传git clone git@10.0.0.105:root/jenkinstest.gitcd jenkinstest/vim test.pygit add test.pygit commit -m "jenkins。
Jenkins+Spring Boot+Maven+GitLab+Docker 持续集成实践指南
"本次实战分享将介绍如何使用Jenkins、Spring Boot、Maven、GitLab和Docker构建一套完整的持续集成环境。首先，我们将探讨Git和GitLab的安装过程，接着是Jenkins的安装和插件配置，然后是Docker和Docker Harbor的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值