Jenkins进阶系列之——Jenkins纳入版本控制

最新推荐文章于 2023-03-28 21:36:30 发布
最新推荐文章于 2023-03-28 21:36:30 发布
阅读量2.3k 收藏
点赞数
分类专栏： Jenkins
转载地址：http://www.cnblogs.com/zz0412/p/jenkins_jj_08.html

2014-07-25:更新shell脚本

2014-06-05:更新shell脚本

2014-01-09:更新shell脚本，修改Jenkins文件删除后不能自动从版本控制删除的bug

是不是有过这种经历：某天手贱，把某一个配置更改了。然后只能在那儿苦逼的看着，然后的然后把以前的配置重新配一次。坑爹的是以前配置的什么都忘记了。。。尼玛，坑啊( ⊙ o ⊙ )！

某天在群里和一群人吹牛逼，突然冒出一个人说手贱把某个job删除了，有没有办法恢复。然后我们果断的告诉了ta实情。然后这聊天的主题就跑到把jenkins加入到版本控制中。我也曾经手贱过。运气好，前几天要测试一些东西，在另一台机器上面还有备份。所以折腾折腾，就写了这篇文章。

系统：CentOS 5.8、6.4

版本控制软件：Subversion 1.7+

思路：写一个脚本（shell）定时去跑一次add、delete和commit。

  1. 建立普通用户
    用一个用户会出问题，jenkins构建的时候会直接报错。

     这个问题的解决方法：将用户目录下.subversion的auth目录删除就可以了

    useradd froad    #建立普通用户跑Jenkins，root用户用了跑shell脚本
#启动Jenkins略过
#因为我是用root用户登录，然后 su froad切换的，所以就没有设置密码。
  2. 安装Subversion1.7以上版本（当做客户端给root用户使用）
    。其实有用的就是bin/svn这个程序而已。如果你安装了Subversion edge 直接把bin和lib目录拷贝过来就行了。为什么要用1.7以上的？因为1.7后.svn目录只有一个了。我嫌以前的版本.svn目录太多了，烦！提供个解压即可用的svn(从subversion edge中拷贝出来的) 点我去下载
  3. 远程Subversion的一些准备工作

    如果你喜欢可以创建一个新的库和用户，如果你不like，随便你！

  4. 检出svn目录
    复制代码 
    [root@localhost ~]# /home/froad/svn/bin/svn co https://192.168.xxx.xxx/svn/Jenkins/trunk /home/froad/.jenkins/  --username jenkins
#说明：/home/froad/.jenkins这个参数可以直接把检出的.svn目录放到.jenkins目录，我是懒人不想在mv一次。--username是svn的用户
#svn语法：svn co url path --username xxx
Error validating server certificate for 'https://192.168.xxx.xxx:443':
 - The certificate is not issued by a trusted authority. Use the
   fingerprint to validate the certificate manually!
 - The certificate hostname does not match.
Certificate information:
 - Hostname: froad-jskfb
 - Valid: from Apr 16 03:04:08 2013 GMT until Apr 14 03:04:08 2023 GMT
 - Issuer: (null), (null), (null), (null), (null) ((null))
 - Fingerprint: D6:EB:58:xxxxxxxxxxxxxxxFC:7D:04:64
(R)eject, accept (t)emporarily or accept (p)ermanently? p #说明：R 拒绝 t 暂时接受 p 永久接受
Authentication realm: <https://192.168.xxx.xxx:443> VisualSVN Server
Password for 'jenkins': ************* #说明：输入你的用户密码
-----------------------------------------------------------------------
ATTENTION!  Your password for authentication realm:

   <https://192.168.xxx.xxx:443> VisualSVN Server

can only be stored to disk unencrypted!  You are advised to configure
your system so that Subversion can store passwords encrypted, if
possible.  See the documentation for details.

You can avoid future appearances of this warning by setting the value
of the 'store-plaintext-passwords' option to either 'yes' or 'no' in
'/root/.subversion/servers'.
-----------------------------------------------------------------------
Store password unencrypted (yes/no)? yes #说明：存储未加密的密码
Checked out revision 1.


#现在版本库都检出了，下面的就简单了。add一下，然后commit一下。打完收工。
#如果你是这么想的，那么结果会郁闷死你。接着往下看吧。
    复制代码
  5.  更改Jenkins的workspace目录

     为什么要更改workspace目录呢？因为里面有个捣蛋的目录.svn。这个目录是个深坑，开始我花了大力气去忽略这个目录。坑爹的是，如果我把工作目录清空了，然后在构建就会一直报错。因为SVNkit跑去找JENKINS_HOME下的.svn目录（这个目录就是我们上面检出的）。

    测试的时候是直接把.svn目录检出到test_007ka目录。大家将就看。除了目录不一样，其他没有区别。

     SVNkit会先去找.svn目录，如果到顶层目录还是没有找到.svn目录，就会在workspace目录检出。这是svn和git的一个特性。哪儿看到的？那个《git权威指南》。
    系统管理→系统设置→主目录（的右边问号下面）→高级（是不是忽略了啊\(^o^)/~）→工作空间根目录

      1. 点开后面的问号可以看见3个参数（配置路径需要的）：
        • ${JENKINS_HOME} — Jenkins home directory.#JENKINS_HOME这个参数不用说了
        • ${ITEM_ROOTDIR} — Root directory of a job for which the default workspace is allocated.#ITEM_ROOTDIR：默认的工作空间目录。完整的路径就是JENKINS_HOME/jobs/xxxx/workspace 
        • ${ITEM_FULL_NAME} — '/'-separated job name, like "foo/bar".#ITEM_FULL_NAME：job的名称，这个就是我们需要的。

     我们只需要把workspace目录赶出JENKINS_HOME目录就行了。上配置：

    workspace：/home/froad/workspace/${ITEM_FULL_NAME} #前面的目录随便你改，只需要在最后带上${ITEM_FULL_NAME}
JENKINS_HOME：/home/froad/.jenkins #给你们对比着看
#好了，这下.svn目录不打架了。我也不用头疼了。
  6. 删除已经存在的workspace目录

    find . -type d -name "workspace"|xargs rm -rf  #看见find后面的那个点了么，改成你的路径就行了
  7. 配置Subversion忽略目录

     貌似将JENKINS_HOME目录直接提交到Subversion，数据量不是一般的高啊！我这个Jenkins才跑3个月都10Gb了。

     如果要提交上去，花费的时间，不是一般的长啊。

     注意：你用的什么用户，就在用户目录下面改。我用的root用户。

     进入用户目录的.subversion打开config文件，找到global-ignores。大概在105行。

     把global-ignores前的#去掉，注意#后面的空格要删掉。然后在=后面添加 modules

     modules目录是maven项目产生的，我的Jenkins就是这个目录大。把这个目录删除了也就几百Mb。如果你有其他目录想忽略，请自行添加，记得用空格分隔就行了。

  8. 写个shell脚本svn_commit.sh

     这个脚本随便你放在哪儿，我想偷懒。直接放在Jenkins的主目录，顺便也版本控制下。。O(∩_∩)O~
     声明：脚本写的很丑，勿喷！

    复制代码 
    #!/bin/bash

# ------------------------------------------------------
# Jenkins的Subversion备份脚本
# 请将本脚本放到JENKINS_HOME目录
# 作者：zjl
# version：4.1
# time：2014-07-25 17:36
#

# 更新日志
# version：4.1
# 修护删除文件导致版本过时提交失败的bug

# version：4.0
# 修护从${TMP_STATUS_LOG}文本读取一行，变量前空格丢失的bug
# 修护从${TMP_STATUS_LOG}文本截取文件名某些情况错误的bug
# 优化脚本对特殊路径的处理
# 添加svn commit失败邮件告警功能
# 删除add 、commit时强制指定的用户


# version：2.0
# 修改Jenkins文件删除后不能自动从版本控制删除的bug

# 检出命令：svn co https://192.168.xxx.xxx/svn/Jenkins/trunk /home/froad/.jenkins/  --username jenkins

#
# ------------------------------------------------------


# 获取当前系统时间分割日志文件(如果错误时邮件内容过大，可以将时间写的更精确)
# 精确到分钟
# DATE=`date "+%Y%m%d%H%M"`
# 精确到小时
DATE=`date "+%Y%m%d%H"`

# SVN_HOME的路径
SVN_HOME="/home/froad/svn"

# SVN程序的路径
SVN="${SVN_HOME}/bin/svn"

# JENKINS_HOME的路径
JENKINS_HOME="/home/froad/jenkins"

# 邮件告警设置
# 收件人(多个收件人用空格或逗号分隔)
MAIL_TO="xxx@qq.com"
# 伪造发件人(不能和收件人的邮件后缀相同，否则发送不了邮件)
MAIL_FROM="jenkins_svn@163.com"
# 主题/标题
MAIL_SUBJECT="[ERROR]Jenkins SVN commit fail !"
# 邮件发送类型
# 0:通用普通，163、QQ等邮箱会识别成垃圾邮件
# 1:Centos 6.x Mail version 12.4 7/29/08.
# 2:Centos 5.x Mail version 8.1 6/6/93.
# 请根据自己的Mail版本选择使用
MAIL_TYPE="1"

# 日志文件
LOG_HOME="/root/.subversion/logs"

LOG_FILE="${LOG_HOME}/svn_commit_${DATE}.log"

# svn_status日志文件
TMP_STATUS_LOG="${LOG_HOME}/status.log"


# svn_add 方法已停止使用，由svn_status代替。
#function svn_add()
#{
    #使用svn add命令将文件添加到版本控制
#    "${SVN}" add  "${JENKINS_HOME}/*"   --force &>>"${LOG_FILE}"
    #退出码
#    EXIT_NUM=$?
#    echo "svn add退出码：${EXIT_NUM} ！" >>"${LOG_FILE}"
#}

function send_mail(){

    # 检查邮件参数
    # 收件人为空
    if [ -z "${MAIL_TO}" ];then

        echo "[error]MAIL_TO 参数为空！">>"${LOG_FILE}"
        return

    fi
    # 伪造发件人发送时，发件人为空
    if [ "${MAIL_TYPE}"=="1" -o "${MAIL_TYPE}"=="2" ];then

        if [ -z "${MAIL_FROM}" ];then

            echo "[error]MAIL_FROM 参数为空！">>"${LOG_FILE}"
            return

        fi
    fi

    # LC_ALL=zh_CN.UTF-8 保证发送邮件时中文不会乱码
    # mail相关请查看 http://ju.outofmemory.cn/entry/24406

    if [ "${MAIL_TYPE}"=="1" ] ;then
        # 1:Centos 6.x Mail version 12.4 7/29/08. 
        LC_ALL=zh_CN.UTF-8 mail -s "${MAIL_SUBJECT}" -r "${MAIL_FROM}" "${MAIL_TO}"  < "${LOG_FILE}"

    elif [ "${MAIL_TYPE}"=="2" ] ;then

        # 2:Centos 5.x Mail version 8.1 6/6/93. 
        LC_ALL=zh_CN.UTF-8 mail -s "${MAIL_SUBJECT}" "${MAIL_TO}" -- -f "${MAIL_FROM}" < "${LOG_FILE}"

    else

    # 0:通用普通，163、QQ等邮箱会识别成垃圾邮件
    # 注意：此方法可能会被163等邮箱识别为垃圾邮件
        LC_ALL=zh_CN.UTF-8 mail -s "${MAIL_SUBJECT}"  "${MAIL_TO}" < "${LOG_FILE}"

    fi
}

function svn_status()\
{

    # 使用svn status命令判断文件是否删除、修改或者其他操作
    "${SVN}" status  "${JENKINS_HOME}" > "${TMP_STATUS_LOG}"

    # 从文件中读取一行
    cat "${TMP_STATUS_LOG}" | while read line;do

        # 从文本中读取回来的内容必须用引号，不然前面的空格会丢失
        # 获取第一个字符，根据第一个字符判断情况
        l=`echo "${line}"|cut -c1`
        # 获取文件的相对路径（获取第8个字符后的所有内容，前6个字符是svn的状态，2个字符间隔）
        # 详细状态请查询：http://www.subversion.org.cn/svnbook/nightly/svn.ref.svn.c.status.html
        f=`echo "${line}" | cut -c9-`
        
        # 状态为A(增加)时，不需要任何操作，直接返回。
        if [ "${l}" == "A"  ];then
            continue
        fi

        # 状态为D(删除)时，不需要任何操作，直接返回。
        if [ "${l}" == "D"  ];then
            continue
        fi

        # 状态为M(修改)时，不需要任何操作，直接返回。
        if [ "${l}" == "M"  ];then
            continue
        fi

        # 状态为I(忽略)时，不需要任何操作，直接返回。
        if [ "${l}" == "I"  ];then
            continue
        fi

        # 状态为?(未受控制)时，调用add命令然后返回。ps：不知道怎么的有时候从文件中读取回来的？变成了0
        if [ "${l}" == "0" ] || [ "${l}" == "?"  ];then

            "${SVN}" add  "${JENKINS_HOME}/${f}" >>"${LOG_FILE}"

            continue

        fi

        # 状态为!(丢失或者不完整)时，调用delete命令然后返回。
        if [ "${l}" == "!"  ];then

            "${SVN}" delete "${JENKINS_HOME}/${f}" >>"${LOG_FILE}"

            continue

        fi

        echo "[info]其他情况:${line}" >>"${LOG_FILE}"

    done

    # 删除临时文件
    # rm -rf ${TMP_STATUS_LOG}

}

function svn_update()
{
    echo "svn update ...">>"${LOG_FILE}"

    "${SVN}" update &>>"${LOG_FILE}"

    svn_commit

}

function svn_commit()
{

    # 使用svn commit命令提交到服务器
    "${SVN}" commit  --message="crontab commit" &>>"${LOG_FILE}"

    EXIT_NUM=$?

    if [ ! ${EXIT_NUM} == "0" ];then

    if [ -z ${ISOUTOFDATE} ]  ;then
    # 确保这个if只执行一次
    ISOUTOFDATE="1"
    # 判断是否需要更新后在尝试提交(默认查找最后10行，-n xx指定行数)
        isUpdate=`tail "${LOG_FILE}"  | grep "is out of date"`
        echo "[debug]+:${isUpdate}"
        if [ ! -z "${isUpdate}" ];then
            svn_update
            return
        fi
    fi
        echo "[error]退出码：${EXIT_NUM} svn commit失败,请查看日志！">>"${LOG_FILE}"

        # 调用发送mail方法
        send_mail

        return

    fi

    echo "svn commit退出码：${EXIT_NUM} ！">>"${LOG_FILE}"

}


echo "[begin] 当前时间：`date "+%Y%m%d_%H%M%S"`" >>"${LOG_FILE}"

if [ ! -d "${LOG_HOME}" ];then

    mkdir -p "${LOG_HOME}"

fi

# 进入到svn工作目录，防止出现稀奇古怪的错误
cd "${JENKINS_HOME}"

# 调用方法
svn_status
svn_commit

echo "[end] 当前时间：`date "+%Y%m%d_%H%M%S"`" >>"${LOG_FILE}"

# 输出空行隔离
echo  >>"${LOG_FILE}"
    复制代码

     

     

     

     

    脚本写好了，建议先运行一次。测试下有没有错误。

  9.  添加定时提交 
    crontab -u root -e

*/30 * * * * sh /home/froad/.jenkins/svn_commit.sh  #每30分钟提交一次
  10.  一个备份插件

    Jenkins Job Configuration History Plugin，可以记录配置的更改。可以记录谁，什么时间，修改了什么。

  11. 结尾

    普通用户开机自动启动Jenkins：

    su 用户名 -c "sh path"
#例如：su froad -c "sh /usr/local/jenkins/bin/startup.sh"
将上面的命令加入到/etc/rc.d/rc.local文件中

    非root用户不能使用1024以下的端口，比较麻烦。有不懂的，下面留言。有好的建议，下面留言。欢迎交流！

好记性不如烂笔头！
Just4life
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Jenkins进阶篇
06-10
然后讲解了Jenkins在各个不同的平台上面进行安装、分布式构建 、和sonarqube、Artifactory服务器的集成、Jenkins持续集成、持续传送、持续部署，在整个过程全部采用的Jenkins 多分支管道来完成的。
jenkins版本控制及回滚配置
ybb_ymm的专栏
07-20 8406
jenkins 完成代码的自动部署及版本回滚操作！简单、高效、便于维护
jenkins部署指定任意版本和配置详细教程 jenkins 2.361版本示例
W1124824402的博客
02-15 4187
安装jenkisn指定任意版本详细配置教程
Jenkins进阶系列之——08Jenkins纳入版本控制
热门推荐
04-04 1万+
2012-01-09:更新shell脚本，修改Jenkins文件删除后不能自动从版本控制删除的bug 是不是有过这种经历：某天手贱，把某一个配置更改了。然后只能在那儿苦逼的看着，然后的然后把以前的配置重新配一次。坑爹的是以前配置的什么都忘记了。。。尼玛，坑啊( ⊙ o ⊙ )！ 某天在群里和一群人吹牛逼，突然冒出一个人说手贱把某个job删除了，有没有办法恢复。然后我们果断的告诉了ta实
Jenkins-Server certificate verification failed
JasonRight
08-14 615
在Windows7中， Jenkins以Service方式启动。   配置Job 运行 bat command   svn list https://domain_addres/svn   会出现错误   Error validating server certificate for 'https://domain_addres:443': - The certificate...
jenkins老版本资源
最新发布
11-09
jenkins老版本资源
Jenkins（2.350版本）常用插件
09-10
内容概要：由于Jenkins版本和插件更替较快，当我们下载插件时，提示我们需要升级Jenkins版本，而又不想对Jenkins版本进行升级，所以就导致部分插件无法安装，当然我们也可以去官网下载对应版本，但是插件之间的项目...
Jenkins常用插件之CppcheckPlugin
02-25
代码格式错误，以及性能因素检查检查单个文件：cppcheckfile.c检查文件夹：cppcheckfilePath排除一个文件或文件夹：cppcheck-isrc/file.csrc以下是该插件在Jenkins中使用的具体步骤：在网上下载在网上
CICD搭建准备——Jenkins实现自动部署
01-27
搭建Jenkins的目的三.Jenkins的特点四.产品发布的流程六.git搭建七.maven本地仓库搭建八.自动部署demoJenkins是一个功能强大的应用程序，允许持续集成和持续交付项目，无论用的是什么平台。这是一个免费的源代码，...
Jenkins项目自动化构建详细搭建、配置、部署详细教程（windows版本）
05-09
Jenkins（Windows环境）下载以及安装 本教程是基于Windows环境讲解的。我本地使用的Jenkins的版本为2.73.2
gitlab部署及整合Jenkins持续构建（一）版本控制工具Git基本命令、管理远程仓库GitHub
qq_46033586的博客
03-28 718
代码托管中心是网络服务器的远程代码仓库，也称为远程仓库GitHub（外网访问）GitLab（局域网访问）Gitee（国内远程仓库） 码云记录和跟踪项目中各文件内容的改动变化保存项目的版本历史，以及改动原因，从而让用户能够查看各个历史版本版本控制系统是帮助开发人员进行协作开发的利器。
jenkins发布测试版本及发布版本
阿拉平平的专栏
10-12 7426
jenkins自动编译成测试版本及发布版本使用说明 1.      设置Jenkins Ø  http://192.168.2.121:8081/view/x51---%E5%86%85%E9%83%A8%E7%BC%96%E8%AF%91%E5%8F%8A%E5%8F%91%E5%B8%83/job/x51_auto_build/左边点击设置， Ø  在右侧的项目名称下面的描述中加
Jenkins持续化集成：版本构建与回滚
weixin_43442452的博客
05-17 799
实现基于Jenkins实现项目的自动化构建和回滚操作，本文分前端的构建回滚和后端的构建回滚，记录一下配置过程中踩下的坑和最终结果。 PS：关于Jenkins的搭建本文不再赘述，主要讲项目的配置 【前端构建与回滚】 我们的项目是Vue框架的，所以前端自动构建采用的是NodeJs+jenkins+GitLab的构建 1.首先在Jenkins下载NodeJS，这里一定要确保自己搭建Jenkins的服务器位数与所下载的NodeJS位数一致，（查看linux位数cat /proc/version 、 uname -a
解决jenkins多版本构建时的报错问题class
笙烛
10-14 612
same name and class 问题 起因是因为在运行jenkins重新部署项目后发现启动报错，报错内容为存在相同重复的类，但仔细找了一下发现不存在 思考 1刚开始认为是目标地址项目部署空间存在重复的文件，即出现在脚本替换的时候相同文件不替换，导致以前删除了的文件还在，但在更新脚本为每次复制前删除原文件后依然报错 2最终发现，不是目标地址项目空间文件重复，而是jenkins项目工作空间的文件重复，原因是我jenkins同一个工作空间会根据配置部署项目的两个版本，dev和test。当第一次部署test
jenkins版本管理
虎神大帝的博客
10-18 2343
一、通过job Configuration History实现config配置参数版本控制 1.安装插件Job Configuration History 2.选择一个项目点击项目里的Job Configuration History选项，可以看到有保存版本历史。 注： show diffs可以看到配置变化 点击相应版本的restore可以回滚到那个版本 二、通过使用tag标签实现代码版本管理 流程图： 版本管理参数配置 1.对 tag 进行发布，需要用到 jenkisn
Jenkins——应用篇——安装&配置
水猴的轨迹
04-12 4750
本文向您讲述如何安装、运行和配置Jenkins，配置内容主要涉及环境变量的配置、Jenkins“系统管理>系统设置”中与具体插件无紧密关系的配置，希望能帮助大家快速的将Jenkins运行起来。
更改Jenkins的workspace目录
weixin_34129696的博客
07-10 3800
系统管理→系统设置→主目录（的右边问号下面）→高级（是不是忽略了啊\(^o^)/~）→工作空间根目录 点开后面的问号可以看见3个参数（配置路径需要的）： ${JENKINS_HOME} — Jenkins home directory.#JENKINS_HOME这个参数不用说了 ${ITEM_ROOTDIR} — Root directory of a job for which...
Jenkins采坑之路（一）------权限问题
Odd Man
08-22 5478
前言 以前Jenkins经常使用，但是从不主动维护，最近想配置一下权限，想使用Role-based Authorization Strategy这个插件，结果由于不熟悉，悲剧产生了，把所有用户的权限都给整没了。。。 正文 Role-based Authorization Strategy 我这里是使用的是这个插件，安装很方便： 步骤一，安装插件 步骤二，配置权限 这里就忽...
Jenkins系列之六——拉取指定branch或tag
05-19
在 Jenkins 中，我们可以使用 Git 插件来构建项目，并且可以选择拉取指定的分支或标签。 首先，我们需要在 Jenkins 的全局工具配置中安装 Git 插件。然后，在 Jenkins 项目的配置中，选择 Git 作为源代码管理工具，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值