Jenkins将构建生成的程序包部署到服务器的常用方法有:
1. Rsync over SSH
使用rsync命令通过SSH把程序包复制到服务器上。在Jenkins的“执行shell脚本”构建后操作中执行rsync命令,指定本地和远程服务器的程序包目录即可。
2. SFTP
使用SFTP客户端(Jenkins自带的内置SFTP服务或第三方插件提供的服务)上传程序包到服务器。在构建后操作的“Send files or execute commands over SSH”中填写远程服务器信息和程序包目录,上传文件即可。
3. SSH 执行命令
直接在“执行shell脚本”中使用scp或sftp命令上传程序包。或者使用ssh登录到服务器,并使用tar/unzip解压命令部署程序包。
4.FTP 上传
如果服务器支持FTP服务,可以使用Jenkins自带的FTP功能上传程序包。在“Send files or execute commands over FTP”构建后操作中指定服务器信息,上传文件。
5. API 部署
如果有发布程序包的API,可以在构建后调用API将程序包部署到服务器。通过“Invoke Webhook”或“Invoke REST API”等插件来调用部署API完成上传。
除此之外,更高级的方法还有:
使用Ansible、SaltStack等编排工具自动化部署程序包。
使用容器(Docker等)来打包应用和环境,然后在另一个Jenkins流水线中拉取并启动容器。
使用懒加载的中间件、CDN来部署程序包。服务启动时才会将程序包拉取运行。
所以,综上Jenkins主要通过以下方式将构建的程序包部署到服务器:
- rsync+SSH
- SFTP上传
- SSH执行命令
- FTP上传
- 调用部署API
- 使用自动化运维工具来部署
- 构建Docker镜像,并在其他流水线中运行
根据自己的实际情况选择最适合的方案,可以实现Jenkins的CI与CD,完成从代码到部署上线的全流程自动化
目前在用的是rsync+ssh 组合构建cicd:
jenkins把程序包推送到服务器的几种方法
rsync+jenkins在同一台部署
/bin/sh /usr/local/deploy/rsync.sh $JOB_NAME $WORKSPACE
/bin/sh /srv/salt/script/tomcat_restart.sh $JOB_NAME
rsync.sh $JOB_NAME $WORKSPACE
bash
#!/bin/bash
# 设置echo的颜色
COLOR_WHITE="\033[1;37m"
# 部署目录
dir="/usr/local/deploy/program_new"
# 获取所有项目名称
project=$(ls /usr/local/deploy/program_new)
# 获取当前时间
time=$(date "+%m-%d-%H:%M:%S")
# 从第一个参数获取项目名称
p=$(echo "$1" |awk -F-- '{print $2}')
# 循环项目名称
for i in "$p"; do
# 检查项目是否存在
echo "${project[@]}" |grep -wq "$1"
if [ $? == 0 ];then
# 获取项目的IP地址
cat $dir/$1 | grep -v "^#" | grep "IP" | awk -F= '{print $2}' |
# 部署到IP
while read ip
do
# 部署静态资源
if [ "$i" = html_static ];then
rsync -av --password-file=/usr/local/deploy/pwd.conf --exclude .svn $2/* ruser@$ip::static
elif [ "$i" = static ];then
rsync -av --password-file=/usr/local/deploy/pwd.conf --exclude .svn $2/* ruser@$ip::html_static
elif [ "$i" = web_static ];then
rsync -av --password-file=/usr/local/deploy/pwd.conf --exclude .svn $2/* ruser@$ip::web_static
# 部署WAR包
elif [ "$i" = id ];then
rsync -av --password-file=/etc/pwd.conf $2/id/target/$i.war ruser@$ip::webapps/tomcat/webapps/
# ...
fi
if [ $? -ne 0 ];then
exit 1
fi
done
else
echo "$COLOR_WHITE 用法: $0 {项目名称}"
fi
done
这个脚本将:
- 从第一个参数获取项目名称
- 检查项目是否存在
- 如果存在,获取项目的IP地址
- 根据项目名称部署静态资源或WAR包到IP
- 如果发生任何错误,退出
- 否则,如果项目不存在,打印用法
该脚本使用rsync通过SSH部署到服务器,密码存储在密码文件中。它可以部署静态内容和Java WAR包。
tomcat_restart.sh $JOB_NAME
#!/bin/bash
echo $1
# $p 正则出 项目名
p=$(echo "$1" |awk -F-- '{print $2}')
dir="/usr/local/deploy/program_new"
cat $dir/$1 | grep -v "^#" | grep "PORT" | awk -F= '{print $2}' |
while read port
do
cat $dir/$1 | grep -v "^#" | grep "IP" | awk -F= '{print $2}' |
while read ip
do
echo $ip
#改了加 grep $p 精确筛选出 saltid 解决了 发布重启时候出了一堆saltid
saltid=$(salt-key |grep -w $ip)
#salt $ip cmd.script salt://script/service_restart_temp.sh "$1 $port"
salt $saltid cmd.script salt://script/service_restart_temp.sh "$1 $port"
sleep 5
done
done
这个脚本将:
- 获取第一个参数的项目名称
- 从部署目录获取项目的端口和IP
- 循环IP
- 获取精确匹配的salt id,避免重启时返回多余的salt id
- 调用saltstack在IP上重启tomcat,并传递项目名称和端口作为参数
- 等待5秒
该脚本使用Saltstack在远程服务器上重启Tomcat,以完成部署后的服务重启。
通过匹配项目名称来过滤IP和salt id,实现了精确重启相关服务。
#!/bin/bash
p=$(echo "$1" |awk -F-- '{print $2}')
tomcat_path=/data/app/tomcat
##关闭tomcat
#${tomcat_path}/bin/shutdown.sh
#echo "关闭tomcat成功：${tomcat_path}/bin/shutdown.sh"
#ps -ef | grep ${tomcat_path} | awk '{print $2}' | xargs kill -9
netstat -antup |grep $2 |awk '{print $7}' | awk -F/ '{print $1}' | xargs kill -9
echo "关闭tomcat成功"
sleep 5
##删除temp文件夹下所有文件
rm -rf ${tomcat_path}/temp/*
rm -rf ${tomcat_path}/logs/*
echo "删除temp文件夹下所有文件 : rm -rf ${tomcat_path}/temp/*"
##删除work目录下所有缓存
rm -rf ${tomcat_path}/work/*
echo "删除work目录下所有缓存 : rm -rf ${tomcat_path}/work/*"
##删除webapps下所有文件
rm -rf ${tomcat_path}/webapps/$p
if [ "$p" = "archives" ];then
rm -rf ${tomcat_path}/webapps_1/ROOT
fi
if [ "$p" = "report" ];then
rm -rf ${tomcat_path}/webapps/ROOT
rm -rf ${tomcat_path}/webapps/ROOT.war
mv ${tomcat_path}/webapps/$p.war ${tomcat_path}/webapps/ROOT.war
fi
if [ "$p" = "oct" ];then
rm -rf ${tomcat_path}/webapps/ROOT
rm -rf ${tomcat_path}/webapps/ROOT.war
mv ${tomcat_path}/webapps/$p.war ${tomcat_path}/webapps/ROOT.war
fi
echo "删除原始war包：rm -rf ${tomcat_path}/webapps/$p"
su - deploy -c ${tomcat_path}/bin/startup.sh
echo "启动tomcat ： ${tomcat_path}/bin/startup.sh"
这个脚本将:
- 从第一个参数获取项目名称
- 根据端口号杀掉Tomcat进程
- 等待5秒
- 删除Tomcat temp和logs目录下的文件
- 删除Tomcat work目录下的缓存
- 根据项目名称删除webapps目录下的文件
- 处理archives, report和oct项目的特殊情况
- 启动Tomcat
该脚本首先正确关闭Tomcat,清除缓存和临时文件,删除部署后的webapps,处理任何特殊情况,然后重新启动Tomcat
使用步骤，通过saltstack来匹配jobname，然后调用脚本，来推送，和执行一下命令，
当然也可以通过推送到程序包之后直接调用服务器脚本来更新，
/usr/sbin/lsof -i:8080 |grep java |awk '{print $2}' |xargs -i kill -9 {}
sleep 5
rm -rf /data/app/tomcat_war/logs/*
rm -rf /data/app/tomcat_war/my_logs/*
rm -rf /data/app/tomcat_war/webapps/war
rm -rf /data/app/tomcat_war/temp/*
rm -rf /data/app/tomcat_war/work/*
/data/app/tomcat_war/bin/startup.sh
这里是启动脚本带详细中文注释:
bash
BUILD_ID=DONTKILLME
#发布
echo "--------->开始启动:"$JARFILE"<-----------"
source /etc/profile
# 重新加载环境变量
pkill java
# 杀掉存在的java进程
nohup java -XX:+UseG1GC -XX:ParallelGCThreads=2 -XX:MaxGCPauseMillis=200 -Dfile.encoding=UTF-8 -Dhudson.util.ProcessTree.disable=true
-jar /data/app/java.jar --spring.profiles.active=test
# 后台启动Java应用,并传递必要的参数:
# -XX:+UseG1GC 使用G1垃圾收集器
# -XX:ParallelGCThreads=2 使用2个线程并行执行垃圾回收
# -XX:MaxGCPauseMillis=200 垃圾收集过程中停顿不超过200ms
# -Dfile.encoding=UTF-8 设置默认编码为UTF-8
# -Dhudson.util.ProcessTree.disable=true 禁用进程树跟踪
# --spring.profiles.active=test 使用test配置文件
> /dev/null 2>&1 &
# 重定向stdout和stderr到/dev/null,并在后台运行
echo "start begin"
# 打印启动日志
#nohup java -Xms128m -Xmx128m -jar $JARFILE >/dev/null 2>&1 &echo "start begin"
# 备选方案,限制java内存并启动jar包
这个脚本的作用是:
- 定义BUILD_ID环境变量
- 打印发布日志
- 重新加载环境变量
- 杀掉存在的java进程
- 使用nohup在后台启动Java应用,并传递必要的参数
- 重定向stdout和stderr到/dev/null,并在后台运行
- 打印启动日志
- 提供备选方案,限制内存并运行jar包
该脚本使用nohup后台运行Java应用,并传递垃圾收集、编码、配置文件等必要参数。同时提供备选方案限制内存运行。
jar程序部署脚本
source /etc/profile
cd /data/app
rm -rf testjar
unzip testjar-bin.zip
cd testjar
chmod u+x restart.sh
/data/app/testjar/restart.sh
这个脚本将:
1. source /etc/profile
- 重新加载环境变量
2. cd /data/app
- 切换到/data/app目录
3. rm -rf testjar
- 删除testjar目录(如果存在)
4. unzip testjar-bin.zip
- 解压testjar-bin.zip压缩包
5. cd testjar
- 进入testjar目录
6. chmod u+x restart.sh
- 给restart.sh文件添加可执行权限
7. /data/app/testjar/restart.sh
- 执行restart.sh脚本
这个脚本的作用是:
1. 准备环境 - 重新加载环境变量,切换目录
2. 删除现有的testjar目录(如果存在)
3. 解压testjar-bin.zip压缩包
4. 进入testjar目录并给restart.sh文件添加可执行权限
5. 执行restart.sh脚本
该脚本一步步进行目录清理、文件解压和授权,最终执行restart.sh脚本。
restart.sh脚本很可能负责启动或重启testjar应用。
整个脚本实现了对testjar应用的部署流程 - 清理现有安装 -> 解压安装包 -> 启动应用。
这里是脚本带详细注释:
bash
#!/bin/bash
BASE_DIR=/data/app/testjar
# 定义应用基础目录
CNF_DIR=$BASE_DIR/config
# 定义配置文件目录
LOG_DIR=/data/log/testjar
# 定义日志目录
JAR_DIR=$BASE_DIR/lib
# 定义jar包目录
MAIN_CLASS="com.testjar.testApplication"
# 定义主类名
if [ ! -x $LOG_DIR ]
# 如果日志目录不存在
then
`mkdir -p $LOG_DIR`
# 创建日志目录
fi
proc_pid=`ps -ef | grep -i $MAIN_CLASS|grep -v "grep"|awk '{print $2}'`
# 获取应用主类的进程id
if [[ -z $proc_pid ]]
# 如果进程id为空
then
echo "not exists proc"
# 打印日志,进程不存在
else
echo "stop process " $proc_pid
# 打印日志,停止进程
kill -9 $proc_pid
# 杀掉进程
sleep 5s
# 等待5秒
echo "kill successful " $proc_pid
# 打印日志,进程停止成功
fi
#nohup java -Xms2048M -Xmx2048M -Dfile.encoding=UTF-8 -classpath $CNF_DIR -Djava.ext.dirs=$JAR_DIR $MAIN_CLASS --spring.profiles.active=aliyunprd >> $BASE_DIR/shell.log &
# 备选方案1,重定向日志并后台运行
nohup java -Xms2048M -Xmx2048M -Dfile.encoding=UTF-8 -classpath $CNF_DIR -Djava.ext.dirs=$JAR_DIR $MAIN_CLASS --spring.profiles.active=aliyunprd >/dev/null 2>&1 &
# 后台运行应用,重定向日志到/dev/null
new_proc_pid=`ps -ef | grep -i $MAIN_CLASS|grep -v "grep"|awk '{print $2}'`
# 获取新启动应用主类进程id
这个脚本的作用是:
1. 定义应用必要的目录
2. 获取应用主类的进程id
3. 如果进程id为空,打印日志进程不存在
4. 否则,停止进程并打印日志
5. 后台启动应用,重定向日志到/dev/null
6. 获取新启动应用主类进程id
该脚本首先判断应用是否已启动,如果启动则停止应用。然后使用nohup后台启动应用,并重定向日志输出。
最后获取新启动应用的进程id。
实现了应用的停止与启动。
1391
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
