运维与自动化系列③自动化部署基础与shell脚本实现_运维开发工程师需要编写脚本进行自动化部署

配置文件差异化,即测试环境和生产环境的配置文件不一样,如IP不一样或主机名不一样或数据库连接不一样等等
代码仓库和实际的差异,即配置文件是否放在代码仓库中,如果保存在git则所有人都可以从配置文件看到数据库用户密码等信息,可以使用单独分支保存配置文件,或配置文件只在部署服务器的某个项目的目录,比如是config.example
如何更新代码,java tomcat需要重启
测试部署后的web页面是否可以正常访问是否是想要的页面
并行(saltstack)或并行(shell)的问题,涉及到分组部署重启服务
如何执行,shell执行还是web执行

1.5:总体规划如下:

获取代码(git pull拉取) --> 是否编译(java需要编译) --> 配置文件(统一和差异) --> 打包 --> scp到目标服务器(或者用saltstack) --> 将服务器移除集群 --> 解压代码包 --> 放置到目标目录(如webroot) --> scp差异文件 --> 重启服务(可选) --> 测试服务(访问web或者post请求) --> 将节点重新加入集群

二:实现代码自动化部署

2.1:通过shell脚本实现,shell脚本规划如下:

2.1.1:各web服务器添加一个uid相同的普通用户,而且所有的web服务都以此普通用户启动,默认情况下所有的wenb服务除了负载均衡之外都不能监听80端口,比如可以监听8008端口

2.1.2:部署服务器的用户登录其他服务器免密码登录,因此需要做秘钥认证,在各主机执行以下命令:

useradd www -u 1010

su – www

$ ssh-keygen
#将部署机www用户的公钥复制到各web服务器的 /home/www/.ssh/authorized_keys或执行ssh-copy-id www@192.168.3.13

$ chmod 600 /home/www/.ssh/authorized_keys

2.1.3:测试部署服务器是否可以免秘钥用www用户登录各个web服务器

2.2:编写shell脚本:
2.2.1:完成框架编写:

#!/bin/bash

#shell env
SHELL_NAME=“deploy.sh”
SHELL_DIR=“/home/www/” # 脚本路径
SHELL_LOG=“ S H E L L _ D I R / {SHELL\_DIR}/ SHELL_DIR/{SHELL_NAME}.log” # 脚本执行日志

code env 代码变量

CODE_DIR=“/deploy/code/deploy” # 代码目录
CONFIG_DIR=“/deploy/config” # 配置文件目录
TMP_DIR=“/deploy/tmp” # 临时目录
TAR_DIR=“/deploy/tar” # 打包目录
LOCK_FILE=“/tmp/deploy.lock” # 锁文件标示

使用帮助函数

usage(){
echo $“Usage: $0 [ deploy | rollback ]”
}

shell_lock(){
touch ${LOCK_FILE}
}

shell_unlock(){
rm -f ${LOCK_FILE}
}

code_get(){
echo “code_get”
sleep 60
}

code_build(){
echo “code_build”
}

code_config(){
echo “code_config”
}

code_tar(){
echo “code_tar”
}

code_scp(){
echo “code_scp”
}

cluster_node_remove(){
echo “cluster_node_remove”
}

code_deploy(){
echo “code_deploy”
}

config_diff(){
echo “config_diff”
}

code_test(){
echo “code_test”
}

cluster_node_in(){
echo “cluste_node_in”
}

rollback(){
echo “rollback”
}

主函数

main(){
if [ -f $LOCK_FILE ];then # 先判断锁文件在不在
echo “Deploy is running” && exit 10; # 如果有锁文件直接退出
fi
DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量
case $DEPLOY_METHOD in
deploy) # 如果第一个参数是deploy就执行以下操作
shell_lock; # 执行部署之前创建锁,如果同时有其他人执行则提示锁文件存在避免冲突
code_get;
code_build;
code_config;
code_tar;
code_scp;
cluster_node_remove;
code_deploy;
config_diff;
code_test;
cluster_node_in;
shell_unlock;
;;
rollback) # 如果第一个参数是rollback就执行以下操作
shell_lock; # 回滚之前也是先创建锁文件
rollback; # 执行完成删除锁文件
shell_unlock;
;;
*) # 其他输入执行以下操作
usage;
esac
}

执行主函数并把第一个变量当参数

main $1

2.2.2:完成脚本:实现代码部署、测试、回滚等操作:

代码回滚设计:
正常回滚是回滚已经在web服务器部署过的版本,因此就不需要获取代码打包和部署的过程了

列出回滚版本
将模板服务器移除集群
执行回滚
重启和测试
将模板服务器加入集群

#!/bin/bash

#Dir List 部署节点(即部署节点需要做的操作)

mkdir -p /deploy/code/web-demo

mkdir -p /deploy/config/web-demo/base

mkdir -p /deploy/config/web-demo/other

mkdir /deploy/tmp

mkdir /deploy/tar

chown -R www.www /deploy

chown -R www.www /webroot

chown -R www.www /opt/webroot/

chown -R www.www /webroot

需要在客户端节点做的操作

mkdir /opt/webroot

mkdir /webroot

chown -R www.www /webroot

chown -R www.www /opt/webroot/

chown -R www.www /webroot

[www@ ~]$ touch /webroot/web-dem

Node List 服务器节点

PRE_LIST=“192.168.3.12” # 预生产节点
GROUP1_LIST=“192.168.3.12 192.168.3.13”
GROUP2_LIST=“192.168.3.13”
ROLLBACK_LIST=“192.168.3.12 192.168.3.13”

日志日期和时间变量

LOG_DATE=‘date “+%Y-%m-%d”’ # 如果执行的话后面执行的时间,此时间是不固定的,这是记录日志使用的时间
LOG_TIME=‘date “+%H-%M-%S”’

代码打包时间变量

CDATE= ( d a t e " + C T I M E = (date "+%Y-%m-%d") # 脚本一旦执行就会取一个固定时间赋值给变量,此时间是固定的 CTIME= (date"+CTIME=(date +“%H-%M-%S”)

shell env 脚本位置等变量

SHELL_NAME=“deploy.sh” # 脚本名称
SHELL_DIR=“/home/www/” # 脚本路径
SHELL_LOG=“ S H E L L _ D I R / {SHELL\_DIR}/ SHELL_DIR/{SHELL_NAME}.log” # 脚本执行日志文件路径

code env 代码变量

PRO_NAME=“web-demo” # 项目名称的函数
CODE_DIR=“/deploy/code/web-demo” # 从版本管理系统更新的代码目录
CONFIG_DIR=“/deploy/config/web-demo” # 保存不同项目的配置文件,一个目录里面就是一个项目的一个配置文件或多个配置文件
TMP_DIR=“/deploy/tmp” # 临时目录
TAR_DIR=“/deploy/tar” # 打包目录
LOCK_FILE=“/tmp/deploy.lock” # 锁文件路径

usage(){ # 使用帮助函数
echo $“Usage: $0 [ deploy | rollback [ list | version ]”
}

writelog(){ # 写入日志的函数
LOGINFO=KaTeX parse error: Expected 'EOF', got '#' at position 3: 1 #̲ 将参数作为日志输入 echo…{CDATE} ${CTIME} : ${SEHLL_NAME} : ${LOGINFO}" >> ${SHELL_LOG}
}

锁函数

shell_lock(){
touch ${LOCK_FILE}
}

解锁函数

shell_unlock(){
rm -f ${LOCK_FILE}
}

获取代码的函数

code_get(){
echo “code_get”
writelog code_get
cd $CODE_DIR && echo “git pull” # 进入到代码目录更新代码,此处必须免密码更新,此目录仅用于代码更新不能放其他任何文件
cp -rf ${CODE_DIR} ${TMP_DIR}/ # 临时保存代码并重命名,包名为时间+版本号,准备复制到web服务器
API_VER=“123” # 版本号
}

code_build(){ # 代码编译函数
echo code_build
}

code_config(){ # 配置文件函数
writelog code_config
/bin/cp -rf ${CONFIG_DIR}/base/* T M P _ D I R / " {TMP\_DIR}/" TMP_DIR/"{PRO_NAME}" # 将配置文件放在本机保存配置文件的临时目录,用于暂时保存代码项目
PKG_NAME=“ P R O _ N A M E " _ " {PRO\_NAME}"\_" PRO_NAME"_"API_VER”_“ C D A T E − {CDATE}- CDATE{CTIME}” # 定义代码目录名称
cd ${TMP_DIR} && mv ${PRO_NAME} ${PKG_NAME} # 重命名代码文件为web-demo_123-20170629-11-19-10格式

}

code_tar(){ # 对代码打包函数
writelog code_tar
cd ${TMP_DIR} && tar czf ${PKG_NAME}.tar.gz P K G _ N A M E w r i t e l o g " {PKG\_NAME} writelog " PKG_NAMEwritelog"{PKG_NAME}.tar.gz"
}

code_scp(){ # 代码压缩包scp到客户端的函数
writelog “code_scp”
for node in $PRE_LIST;do # 循环服务器节点列表
scp T M P _ D I R / {TMP\_DIR}/ TMP_DIR/{PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot
done

for node in $GROUP1_LIST;do # 循环服务器节点列表
scp T M P _ D I R / {TMP\_DIR}/ TMP_DIR/{PKG_NAME}.tar.gz $node:/opt/webroot/ # 将压缩后的代码包复制到web服务器的/opt/webroot
done
}

url_test(){
URL=$1
curl -s --head $URL |grep ‘200 OK’
if [ $? -ne 0 ];then
shell_unlock;
writelog “test error” && exit;
fi
}

cluster_node_add(){ #将web服务器添加至前端负载
echo cluster_node_add
}

cluster_node_remove(){ # 将web服务器从集群移除函数(正在部署的时候应该不处理业务)
writelog “cluster_node_remove”
}

pre_deploy(){
writelog “pre_deploy”
for node in ${PRE_LIST};do # 循环预生产服务器节点列表
cluster_node_remove ${node} # 部署之前将节点从前端负载删除
echo “pre_deploy, cluster_node_remove ${node}”
ssh ${node} “cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz” #分别到web服务器执行压缩包解压命令
ssh KaTeX parse error: Expected 'EOF', got '&' at position 33: …broot/web-demo &̲& ln -s /opt/we…{PKG_NAME} /webroot/web-demo" # 整个自动化的核心,创建软连接
done
}

pre_test(){ # 预生产主机测试函数
for node in KaTeX parse error: Expected 'EOF', got '#' at position 16: {PRE\_LIST};do #̲ 循环预生产主机列表 curl…{node}:9999/index.html | grep “200 OK” # 测试web界面访问
if [ $? -eq 0 ];then # 如果访问成功
writelog " ${node} Web Test OK!" # 记录日志
echo " ${node} Web Test OK!"
cluster_node_add KaTeX parse error: Expected 'EOF', got '#' at position 8: {node} #̲ 测试成功之后调用添加函数把服…{node} add to cluster OK!" # 记录添加服务器到集群的日志
else # 如果访问失败
writelog “KaTeX parse error: Expected 'EOF', got '#' at position 20: …e} test no OK" #̲ 记录日志 echo "{node} test not OK”
shell_unlock # 调用删除锁文件函数
break # 结束部署
fi
done

}

group1_deploy(){ # 代码解压部署函数
writelog “group1_code_deploy”
for node in ${GROUP1_LIST};do # 循环生产服务器节点列表
cluster_node_remove $node
echo “group1, cluster_node_remove $node”
ssh ${node} “cd /opt/webroot && tar zxf ${PKG_NAME}.tar.gz” # 分别到各web服务器节点执行压缩包解压命令
ssh KaTeX parse error: Expected 'EOF', got '&' at position 33: …broot/web-demo &̲& ln -s /opt/we…{PKG_NAME} /webroot/web-demo" # 整个自动化的核心,创建软连接
done
scp ${CONFIG_DIR}/other/192.168.3.13.server.xml 192.168.3.13:/webroot/web-demo/server.xml # 将差异项目的配置文件scp到此web服务器并以项目结尾
}

group1_test(){ # 生产主机测试函数
for node in KaTeX parse error: Expected 'EOF', got '#' at position 16: {PRE\_LIST};do #̲ 循环生产主机列表 curl …{node}:9999/index.html | grep “200 OK” #测试web界面访问
if [ $? -eq 0 ];then #如果访问成功
writelog " KaTeX parse error: Expected 'EOF', got '#' at position 22: … Web Test OK!" #̲记录日志 echo "grou…{node} Web Test OK!"
cluster_node_add
writelog " KaTeX parse error: Expected 'EOF', got '#' at position 28: …o cluster OK!" #̲记录将服务器 添加至集群的日志…{node} test no OK" #记录日志
echo “${node} test no OK”
shell_unlock # 调用删除锁文件函数
break # 结束部署
fi
done
}

rollback_fun(){
for node in $ROLLBACK_LIST;do # 循环服务器节点列表

注意一定要加"号,否则无法在远程执行命令

ssh $node “rm -f /webroot/web-demo && ln -s /opt/webroot/$1 /webroot/web-demo” # 立即回滚到指定的版本, 1 即指定的版本参数 e c h o " 1即指定的版本参数 echo " 1即指定的版本参数echo"{node} rollback success!"
done
}

rollback(){ # 代码回滚主函数
if [ -z $1 ];then
shell_unlock # 删除锁文件
echo “Please input rollback version” && exit 3;
fi
case $1 in # 把第二个参数做当自己的第一个参数
list)
ls -l /opt/webroot/*.tar.gz
;;
*)
rollback_fun $1
esac

}

main(){
if [ -f $LOCK_FILE ] ;then # 先判断锁文件在不在,如果有锁文件直接退出
echo “Deploy is running” && exit 10
fi
DEPLOY_METHOD=$1 # 避免出错误将脚本的第一个参数作为变量
ROLLBACK_VER=$2
case $DEPLOY_METHOD in
deploy) # 如果第一个参数是deploy就执行以下操作
shell_lock; # 执行部署之前创建锁。如果同时有其他人执行则提示锁文件存在
code_get; # 获取代码
code_build; # 如果要编译执行编译函数
code_config; # cp配置文件

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数软件测试工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年软件测试全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上软件测试开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注软件测试)
img

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

TSSGYuCf-1713085104922)]
[外链图片转存中…(img-g4GZWf3K-1713085104922)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上软件测试开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注软件测试)
[外链图片转存中…(img-WehK3nLz-1713085104923)]

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 23
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
为了实现自动化运维,可以编写shell脚本来调用SQL语句,以下是一个简单的例子: ```shell #!/bin/bash # 定义变量 MYSQL_USER="root" MYSQL_PASSWORD="password" MYSQL_HOST="localhost" MYSQL_PORT="3306" MYSQL_DATABASE="test" # 执行SQL语句 mysql -u${MYSQL_USER} -p${MYSQL_PASSWORD} -h${MYSQL_HOST} -P${MYSQL_PORT} -D${MYSQL_DATABASE} -e "SELECT * FROM users;" # 执行完毕 echo "SQL query executed successfully." ``` 在这个例子中,我们定义了MySQL的用户名、密码、主机、端口和数据库名等变量,并使用`mysql`命令执行了一个简单的SQL查询语句。你可以根据自己的需求修改这个脚本,例如添加备份和恢复功能等。 另外,为了实现自动化运维,你还可以编写shell脚本来定期执行一些任务,例如清理缓存、备份数据库等。以下是一个简单的例子: ```shell #!/bin/bash # 定义变量 MEMORY_THRESHOLD=70 LOG_FILE="/var/log/freeMemoryLog.txt" # 检查内存使用率 MEMORY_USAGE=$(free | awk '/Mem/{printf("%.2f"), $3/$2*100}') # 如果内存使用率超过阈值,则释放缓存 if [ $(echo "${MEMORY_USAGE} > ${MEMORY_THRESHOLD}" | bc -l) -eq 1 ]; then sync && echo 3 > /proc/sys/vm/drop_caches echo "$(date) - Memory usage is ${MEMORY_USAGE}%, cache cleared." >> ${LOG_FILE} else echo "$(date) - Memory usage is ${MEMORY_USAGE}%, no action taken." >> ${LOG_FILE} fi # 执行完毕 echo "Script executed successfully." ``` 在这个例子中,我们定义了一个内存使用率的阈值和日志文件的路径,并使用`free`命令检查当前内存使用率。如果内存使用率超过阈值,则使用`sync`命令同步缓存并使用`echo`命令将3写入`/proc/sys/vm/drop_caches`文件中以释放缓存。最后,我们将执行结果写入日志文件中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值