基于 Jenkins 快速搭建自动化部署框架

最新推荐文章于 2024-07-19 12:03:35 发布
最新推荐文章于 2024-07-19 12:03:35 发布
阅读量355 收藏 1
点赞数
文章标签： 运维 python shell
原文链接：https://my.oschina.net/hellotest/blog/820048
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、背景简介

1、项目环境简介

1.1       使用JAVA语言开发的MAVEN工程

1.2       系统是Linux，服务器是TOMCAT，测试环境分别有两台服务器，测试环境62和验收测试环境72

2、手动部署步骤

  进行构建，生成部署包war包

  停止掉测试环境进程

 下载war包，在本地进行解压

  替换成测试环境对应的配置文件（例：config.properties）

  将本地文件上传到测试环境

  重启测试服务

  查看日志

3、改善分析

1)     替换测试文件，能否在打包的时候进行替换？

2)     在Jenkins上生成部署包后能否自动解压并上传？

3)     停止掉进程和启动进程能否在Jenkins构建成功后自动完成？

 

改善思路

带着这样的思路我们就开始我们的自动化部署之旅，为了让课程完整一点，我们先简单介绍一下Maven的多环境打包配置、Linux系统开启FTP上传、PythonFTP上传脚本的编写，已经知道的童鞋可以直接跳过看后面的第5章

 

 

二、Maven多环境打包配置

       “打包“这个词听起来比较土，比较正式的说法应该是”构建项目软件包“

项目配置文件目录;

Pom.xml配置如下：

<?xml version="1.0"?>
<project
		xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"
		xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
        <!--.....其他略.......-->
    	<profiles>
		<profile>
			<id>local</id>
			<properties>
				<package.environment>local</package.environment>
			</properties>
			<activation>
				<activeByDefault>true</activeByDefault>
			</activation>
		</profile>
		<profile>
			<id>product62</id>
			<properties>
				<package.environment>product62</package.environment>
			</properties>
		</profile>

		<profile>
			<id>product72</id>
			<properties>
				<package.environment>product72</package.environment>
			</properties>
		</profile>
	</profiles>
    <build>    
        <plugins>
            <!--.....其他略.......-->
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-war-plugin</artifactId>
				<version>2.6</version>
				<configuration>
					<archive>
						<addMavenDescriptor>false</addMavenDescriptor>
					</archive>
					<warName>aim-web</warName>
					<webResources>
						<resource>
							      <directory>src/main/resources/deploy_config/${package.environment}</directory>
							<targetPath>WEB-INF/classes</targetPath>
							<filtering>true</filtering>
						</resource>
						<resource>
							<directory>src/main/resources</directory>
							<targetPath>WEB-INF/classes</targetPath>
							<filtering>true</filtering>
						</resource>
					</webResources>
				</configuration>
			</plugin>
		</plugins>
	</build>
</project>

 

其中, 我们注意的地方: 我解释一下:

这里就是不同的resources文件夹, 我这里只区分本地 62,72; 设置为true的就是默认被激活的. 所以后面打包默认就是本地

${package.environment} 就是动态指定文件夹了.

<filtering>true</filtering> 这里一定需要设置为true才行

运行是执行命令clean -Pproduct62 package，就可以将62环境的配置文件打入包

这里resource就是我的资源文件, src/main/resources里面存放我的公用的, 比如Spring的配置文件,

运行是执行命令clean -Pproduct62 package，就可以将62环境的配置文件打入包

三、Linux开启FTP上传配置

       

1. 先用rpm -qa| grep vsftpd命令检查是否已经安装，如果ftp没有安装，使用yum  -y  install vsftpd 安装,(ubuntu 下使用apt-get install vsftpd)

2. service vsftpd start

启动要让FTP每次开机自动启动，运行命令:  chkconfig --level 35 vsftpd on

3. 设置ftp权限

vi  /etc/vsftpd/vsftpd.conf
将anonymous_enable=YES 改为 anonymous_enable=NO
ESC返回,输入“:wq”保存并推出

4. 添加ftp帐号和目录

useradd -d /var/www/webapps/eam -s /sbin/nologin test 
passwd test chmod -R 755 /var/www/webapps/eam 
chown -R test /var/www/webapps/eam 
/etc/rc.d/init.d/vsftpd restart

然后用帐号test密码test

测试下就可以登陆ftp了。目录是/var/www/webapps/eam

四、Python FTP 上传编写

import sys 
import os 
import json
import re
from ftplib import FTP 

_XFER_FILE = 'FILE' 
_XFER_DIR = 'DIR' 


class Xfer(object): 

    '''''
    @note: upload local file or dirs recursively to ftp server
    ''' 

    def __init__(self): 
        self.ftp = None    
    def __del__(self): 
        pass     
    def setFtpParams(self, ip, uname, pwd, port = 21, timeout = 60):         

        self.ip = ip 
        self.uname = uname 
        self.pwd = pwd 
        self.port = port 
        self.timeout = timeout 
    
    def initEnv(self): 
        if self.ftp is None: 
            self.ftp = FTP() 
            print ('### connect ftp server: %s ...'%self.ip  )
            self.ftp.connect(self.ip, self.port, self.timeout) 
            self.ftp.login(self.uname, self.pwd)  
            print (self.ftp.getwelcome()) 

    def clearEnv(self): 
        if self.ftp: 
            self.ftp.close() 
            print ('### disconnect ftp server: %s!'%self.ip  )
            self.ftp = None 

     

    def uploadDir(self, localdir='./', remotedir='./'): 
        if not os.path.isdir(localdir):   
            return 
        self.ftp.cwd(remotedir)  
        for file in os.listdir(localdir): 
            src = os.path.join(localdir, file)  
            if os.path.isfile(src): 
                self.uploadFile(src, file) 
            elif os.path.isdir(src): 
                try:   
                    self.ftp.mkd(file)   
                except:   
                    sys.stderr.write('the dir is exists %s'%file) 
                self.uploadDir(src, file) 
        self.ftp.cwd('..') 

     

    def uploadFile(self, localpath, remotepath='./'): 
        if not os.path.isfile(localpath):   
            return 
        print ('+++ upload %s to %s:%s'%(localpath, self.ip, remotepath)) 
        self.ftp.storbinary('STOR ' + remotepath, open(localpath, 'rb')) 
     
    def __filetype(self, src): 
        if os.path.isfile(src): 
            index = src.rfind('\\') 
            if index == -1: 
                index = src.rfind('/')                 
            return _XFER_FILE, src[index+1:] 
        elif os.path.isdir(src): 
            return _XFER_DIR, ''         

     

    def upload(self, src): 
        filetype, filename = self.__filetype(src)     
        self.initEnv() 
        if filetype == _XFER_DIR: 
            self.srcDir = src             
            self.uploadDir(self.srcDir) 
        elif filetype == _XFER_FILE: 
            self.uploadFile(src, filename) 
        self.clearEnv()

    def deployEnvi(self,params):  
        if params== 'Pproduct62':
            ip='172.18.100.62'
            return ip
        elif params== 'Pproduct72':
            ip='172.18.100.72'
            return ip   

    def getparam(self):

        for i in range(1, len(sys.argv)):
            print(sys.argv[1])
            return re.search(r'\"([^"]+)\"',sys.argv[1]).groups()[0]



if __name__ == '__main__': 

    srcDir = "/var/lib/jenkins/jobs/eam62/workspace/aim-web/target/eam"
    xfer = Xfer()
    ip='172.18.100.62'
    print(ip)
    xfer.setFtpParams(ip, 'test', 'test') 
    xfer.upload(srcDir)     

 

 

五、Jenkins安装与配置

Jenkins是一个开源软件项目，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。

 

1、安装Jenkins

地址https://jenkins.io/下载适合的Jenkins版本

 

2、插件安装

系统管理->管理插件

可选插件->过滤

2.1          SVN插件

在过滤搜索框处输入Subversion Plug-in，选择后点击直接安装

2.2          Maven插件

在过滤搜索框处输入Maven Integration plugin，选择后点击直接安装

2.3          Python插件

在过滤搜索框处输入Python Wrapper Plugin，选择后点击直接安装

在过滤搜索框处输入Python Plugin，选择后点击直接安装

2.4          SSH插件

在过滤搜索框处输入SSH plugin，选择后点击直接安装

配置好这里后保存，这里即可以输入用户名密码，也可以使用key文件来免密码登录

3、Jenkins配置

新安装的Jenkins需要配置一些环境，例如JAVA_HOME,MAVEN_HOME等

系统管理—>系统设置

 

3.1     SSH配置

配置好这里后保存，这里即可以输入用户名密码，也可以使用key文件来免密码登录

3.2     JDK配置

3.3     Maven配置

4、创建Maven任务

新建任务

Item名称->test-ci，ci指代commit阶段，说明这个job是用来不断集成我们的代码的。

我们的项目是用maven来管理的，所以我们选择构建一个maven项目

                 

4.1          源码管理配置

首先我们配置SVN，选择Subversion,填上项目的Repository URL,然后可以指定从这个地址签出的代码保存的位置。其他默认选择

4.2          构建触发器

该选项是用来配置自动构建的，比如我们想让项目每天中午一点和晚上一点自动构建，只需要在日程表中写出0 13,1 * * *.在这里我们使用Poll SCM，"Poll SCM"用来定期检查版本库是否有更新，如果有更新，触发构建。我们就让它每2小时检查一次，输入H 8-19/2 * * *。

 

4.3          配置Maven

pom.xml文件，jenkins会去寻找需要执行的maven pom文件，需要给定。

我们需要运行maven 的 clean -Pproduct62 package 命令，在Goals and options中指定

注:如果过要部署在72环境上的,需要执行clean –Pproduct72 package 命令,并将python脚本修改为72环境的地址

4.4          增加构建步骤

构建成功后执行shell命令，此步骤是为了将war包进行解压

注：在Build配置那里有一个Add buld step, 有这样两个选项：

1. Execute Windows batch command

2. Execute shell

第1个是执行windows命令，第2个是执行shell脚本,这里部署Jenkins是linux服务器，所以使用的是Execute shell

cd /var/lib/jenkins/jobs/test-ci/workspace/aim-web/target/
mkdir eam
cd eam
jar -xvf /var/lib/jenkins/jobs/ test-ci /workspace/aim-web/target/aim-web.war

 

Shell命令执行完成后执行远程的shell命令,此步骤是为了将远程服务器的进程停掉，并将原部署文件清除掉

这里还碰到了一个问题，我用Xshell远程登录到服务器，直接可以执行我的一个脚本，这个脚本里有一些命令是在PATH路径下的。

但是在Jenkins里面直接执行脚本却报错了，说是找不到这些命令，最后我在执行脚本前先export JAVA_HOME=/usr/jdk

把PATH设置了一下，结果就执行成功了，不知道为什么 jenkins远程登录默认读不到PATH

export JAVA_HOME=/usr/jdk
kill -9 `ps x|grep tomcat | grep -v "grep"|awk '{print $1}'`
echo "kill tomcat!"
cd /var/www/webapps/eam/
rm -rf *
echo "clean OK"

 

远程的shell命令执行完后执行Python脚本，此步骤是为了将最新解压的文件上传到服务器上

执行远程的shell命令,此步骤是为了将远程服务器的进程启动

export JAVA_HOME=/usr/jdk
sleep 3
sh /usr/local/tomcat7/bin/startup.sh
echo "start tomcat!"

 

4.5          生成打包文件

运行构建，点击左侧的立即构建按钮，点击Build History中的数字就可以看到本次构建的详细。,

         

这样我们的自动化部署环境就搭建好了，系统每天会自动进行部署，后续我们可以根据需要再配置一下邮件发送功能

 

转载于:https://my.oschina.net/hellotest/blog/820048

weixin_34187862
关注
jenkins自动化部署持续交付演示ppt
04-24
【自动化部署持续交付的实现方式——Jenkins】 Jenkins是广泛使用的自动化服务器，能够实现自动化部署持续交付。它的安装简单，只需运行Java可执行文件，无需复杂的配置或数据库支持。Jenkins提供了直观的Web界面，...
一步一步教您如何搭建ant+jenkins+jmeter自动化接口测试框架（持续集成篇）
01-20
本篇文章将指导你如何构建一个基于Ant、Jenkins和JMeter的自动化接口测试框架，实现持续集成。 **1. 安装与配置Ant** Ant是Apache基金会的一个项目，是一个Java构建工具，用于自动化构建、编译、测试和部署Java项目...
JENKINS 快速搭建
weixin_41810024的博客
07-01 60
# 新建文件 default.json touch default.json mkdir -p /data/jenkins/updates cp default.json /data/jenkins/updates chown -R 1000:1000 /data chmod 555 /data/jenkins/updates/default.json docker run -d --name jenkins -p 85:8080 -p 50000:50000 -v /data/jenkins:/va
Jenkins自动化搭建测试框架
朱同学
11-05 153
https://www.cnblogs.com/lqblala/p/15616058.html
Jenkins自动化部署Python代码：提升软件开发效率的新动力
最新发布
2401_85969209的博客
07-19 345
在脚本中，我们可以使用Jenkins提供的环境变量和工具来简化操作，如使用Jenkins提供的Git命令来拉取代码、使用Python命令来执行构建和测试任务等。通过配置Jenkins的构建任务，我们可以实现代码的自动化拉取、自动化构建、自动化测试以及自动化部署，从而极大地提高软件开发和交付的效率。为了自动化部署Python代码，我们需要安装一些必要的插件，如Git插件（用于从Git仓库拉取代码）、Python插件（用于执行Python构建和测试任务）以及SSH插件（用于连接目标服务器进行部署）。
python自动化部署jenkins_Jenkins 自动化（CI/DI）部署
weixin_39939918的博客
12-05 322
1.背景介绍在实际开发中，经常要一边开发一边测试，经常为了一个功能而不断更新版本，这些情况都会涉及到频繁的打包、部署；手动打包的涉及到项目上传、打包、发布等很多重复工作；那么，有一种工具能够实现，将代码提交到git后就自动打包部署，替换手动认为打包，答案是肯定的：Jenkins ，当然除了Jenkins以外，也还有其他的工具可以实现自动化部署；2.Jenkins服务器搭建于基本配置2.1.J...
Jenkins框架
taomiaotaomiao的专栏
10-13 297
1、定义 持续继承、分布式构建、主从策略 2、工作原理 代码嵌入 → 触发Master的Build → Master把Build任务分配到Slave 3、部署方式 触发式构建、参数化构建、定时构建
python自动化部署jenkins_自动化部署 jenkins 插件简介
weixin_39640646的博客
12-05 184
一、什么是持续集成？(1)Continuous integration(CI)持续集成是一种软件开发实践，即团队开发成员经常集成他们的工作，通常每个成员至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译，发布，自动化测试)来验证，从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题，让团队能够更快的开发内聚的软件。(2)没有持续集成项目做模块集成的时...
jenkins+ant+jmeter自动化接口测试框架搭建
03-16
搭建自动化接口测试框架的前提是安装并配置好这些工具。Java、Ant、JMeter的Linux版本软件包需要预先下载准备好，并安装在Linux服务器上。版本选择方面，文中建议的版本为Java 1.8.0_131、Ant 1.9.9和Jenkins 2.65。...
7.Jenkins持续集成自动化部署一
11-05
自动化测试是持续集成的关键部分，Jenkins 支持多种测试框架，如 JUnit、Selenium 等，可以将测试结果展示在 Job 的构建历史中，便于快速定位问题。如果测试失败，Jenkins 可以发送通知邮件，提醒开发人员及时修复。...
jenkins+python自动化测试持续集成教程
09-16
**Jenkins**是一款开源的持续集成/持续部署工具，能够支持自动化构建、测试等过程，广泛应用于软件开发领域。为了开始我们的旅程，首先需要完成Jenkins的安装： 1. **下载安装包**：访问Jenkins官网...
Jenkins持续集成部署架构图.pdf
05-18
适用于大部分公司的集成部署架构图，大家可以参考下的根据自己情况进行修改的。 只是给各位参考下的，需要根据公司的集成情况进行设计。
jenkins自动化部署安装
博客模板
03-13 179
部分见 https://blog.csdn.net/fst438060684/article/details/80685667 下载地址 https://jenkins.io/doc/pipeline/tour/getting-started/ 要求jdk1.8 启动命令 java -jar jenkins.war --httpPort=8080 自动脚本 #bash nohup java -j...
MySQL数据库远程访问权限设置
2301_80119299的博客
04-23 5360
授权给主机为ip的user用户开放，所有数据库及对应表的所有权限，并且密码设置为123456（快速简洁）#添加一个用户user地址ip的无权限用户（可以插入新增用户信息时，附带把权限也查进去，执行时会有告警，因为表中有约束，不用深究）alter uesr ‘mysql’@‘%’ identified by ‘123456’ mysql_native_password by ‘123456’;use mysql；
jmeter+ant+jenkins框架搭建
伤心的辣条
12-25 834
一 配置jmeter jmeter解压后配置环境变量，配置完成后修改jmeter的bin目录下jmeter.properties文件的配置jmeter.save.saveservice.output_format=xml，作用是使jmeter报告输出文件格式为xml。
框架综合实践（8）-Jenkins 创建项目
Teamo_mc的博客
11-24 319
前提：在“框架综合实践（7）--批量处理命令（命令执行脚本）”封装好自动化脚本的执行命令文件（.bat文件）   目的： 自动化脚本写完以后，想要定时自动执行，或者开发打新包后就自动执行自动化测试脚本，此时需要借助jenkins实现。 持续集成（continuous integration） 每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽早地发现集成错误。 Je...
【框架】Jenkins学习总结--安装
qq_35061334的博客
04-11 185
目录一、准备二、介绍：构建伟大，无所不能三、优势：四、jenkins下载、安装、配置 一、准备 第一次使用 Jenkins，您需要： 机器要求： 256 MB 内存，建议大于 512 MB 10 GB 的硬盘空间（用于 Jenkins 和 Docker 镜像） 需要安装以下软件： Java 8 ( JRE 或者 JDK 都可以) Docker.（导航到网站顶部的Get Docker链接以访...
Jenkins+Python自动化测试持续集成详细教程
01-17 1313
下方这份完整的软件测试视频教程已经整理上传完成，需要的朋友们可以自行领取【保证100%免费】
Python+Testlink+Jenkins：接口自动化测试框架V3.0详解与实战
本文主要介绍了基于Python、Testlink和Jenkins的接口自动化测试框架V3.0的开发过程和技术细节。以下是文章的关键知识点概述： 1. **开发环境设置**： - 支持的系统：包括Win7和WindowsServer 2008 R2 x64，建议...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值