应用迭代更新流程和工具分享

最新推荐文章于 2023-02-06 00:21:16 发布
最新推荐文章于 2023-02-06 00:21:16 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 运维脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuyuansheng6911/article/details/47973111
版权

流程图




执行效果



脚本内容

#coding:utf-8
import os,getpass
import syslog
import time

#
#脚本名字: 生产更新脚本_v1.8
#
#备份：
#    1. 在当前目录下新建/编辑"source.txt"文件，写入需要更新的文件的绝对路径，每个文件一行，目录不需要
#       如需删除文件则在前面加"-"符号，如"- /path/file1"则表示删除此文件，修改和增加文件无需特别处理
#    2. 执行命令"python product_update.py"进行备份
#    3. 把生成的"backup.tar.gz"下载到本地，并邮件给开发人员
#
#更新：
#    1. 在当前目录下新建"update"文件夹，上传带路径的更新文件到此目录下
#    2. 执行命令"sh update.sh check"检查更新环境
#    3. 执行命令"sh update.sh"或"sh update.sh update"更新
#
#回退：
#    1. 如果更新失败，则执行命令"sh rollback.sh"回退
#
#二、功能说明
#脚本会执行如下动作：
#    1. 自动备份已存在的文件，并打包备份文档为"backup.tar.gz";
#    2. 自动生成用来更新的脚本"update.sh"
#    3. 自动生成用来回退的脚本"rollbak.sh"
#    4. 把处理结果显示在当前屏幕，并记录进syslog和当前目录的"log"文件
#    5. 如果"root"用户执行脚本需要二次确认，以防将来出现权限问题
#    6. 执行更新脚本、回退脚本需要二次确认，以防手误导致更新及回退
#    7. 执行更新脚本、回退脚本时会经过一系列严格的检查，包括文件存在性、完整性
#

def log_and_print(string,show=True,EXIT=False):
    """
    在屏幕上显示信息，并记录到syslog及日志文件中
    """
    if len(string)>0:
        if show:
            print string
        timestamp=time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
        print >>LOG_FILE,"[%s] %s" % (timestamp,string)
        syslog.openlog("product_update.py")
        syslog.syslog(string)
    if EXIT:
        exit (4)
    
def get_update_list(file):
    """
    列表文件预处理,返回字典dict={"FilePath":"Operator",...}
    """
    if not os.path.exists(file):
        log_and_print("ERROR - %s 不存在！" % (file))
        exit(1)
    of=open(file,"r")
    FilePathDict={}
    FileOperator="m" #对文件执行的动作,m=修改,a=添加,d=删除
    line_number=0
    error_count=0
    for line in of.readlines():
        line_number+=1
        #规范化文件路径
        #去除行首、行尾的空白字符及换行符
        line=line.lstrip().rstrip().strip('\n')
        #删除空行
        if line=="":
            continue
        #删除“#”注释掉的行、
        if line[0]=="#":
            continue
        
        if line[0]=="-":
            FilePath=line[1:].lstrip()
            FileOperator = "d"
        else:
            FilePath = line
            FileOperator = "m"
        
        if not os.path.isabs(FilePath):
            log_and_print("ERROR - %s : 第 %s 行 : 请用绝对路径！" % (file,line_number))
            error_count+=1
        FilePathDict[FilePath]=FileOperator
    for line in FilePathDict.keys():
        if os.path.isdir(line):
            log_and_print("ERROR - %s 是一个文件夹!" % line,EXIT=True)    
    of.close()
    if error_count>0:
        exit(2)
    if len(FilePathDict)==0:
        log_and_print("ERROR - 未发现需要更新的文件！请检查 %s 文件" % LISTFILE)
        exit(4)
    return FilePathDict

def get_delete_file_list(FilePathDict={}):
    """获取需要删除的文件列表"""
    file_delete=[]
    for File,Operator in FilePathDict.items():
        if Operator == "d":
            file_delete.append(File)
    return file_delete

def get_modify_file_list(FilePathDict={}):
    """获取需要修改的文件的列表"""
    file_modify=[]
    for File,Operator in FilePathDict.items():
        if Operator == "m" and os.path.exists(File):
            file_modify.append(File)
    return file_modify

def get_add_file_list(FilePathDict={}):
    """获取新增的文件的列表"""
    file_add=[]
    for File,Operator in FilePathDict.items():
        if Operator == "m" and not os.path.exists(File):
            file_add.append(File)
    return file_add

def get_backup_file_list(FilePathDict={}):
    """获取需要备份的文件的列表"""
    file_backup=[]
    for File in FilePathDict.keys():
        if os.path.exists(File):
            file_backup.append(File)
    return file_backup
            
def create_update_script(FilePathDict={}):
    """创建更新脚本    """
    script="""#!/bin/bash\n"""
    #定义echo显示颜色
    script+=COLOR_SET
    script+="""PROGPATH=`pwd`\n"""
    mitem=0
    ditem=0
    for File,Operator in FilePathDict.items():
        target_dir=os.path.dirname(File)
        #定义更新列表
        if Operator == "d":
            script+="""delete_file_list[%s]="%s"\n""" % (ditem,File)
            ditem+=1
        else:
            script+="""source_file_list[%s]="$PROGPATH/update%s"\n""" % (mitem,File)
            script+="""target_file_list[%s]="%s"\n""" % (mitem,File)
            mitem+=1
        
    new_mkdir=[]
    mitem=0
    ditem=0
    
    for File in FilePathDict.keys():
        target_dir=os.path.dirname(File)
        #目标文件夹不存在则创建
        if not os.path.exists(target_dir):
            if target_dir not in new_mkdir:
                new_mkdir.append(target_dir)
                script+="""make_new_dir[%s]="%s"\n""" % (mitem,target_dir)
                mitem+=1

    #自定义echo功能，将信息显示到屏幕，并加上时间戳后记录到日志文件中
    script+="""
function echo_and_log {
    #屏幕显示，并记录syslog及当前目录的log文件
    echo -e $*
    logger -t product_update_$0 "$*"
    echo -e [`date +"%Y-%m-%d %H:%M:%S"`] $* >> log
}

function checkUser(){
    #用 root 账号需要二次确认
    if [ `id -u` == 0 ];then
        echo -n "你正在使用 root 账号，是否继续？[Y/N]:"
        while true
        do
            read replay
            case $replay in
                Y|y) break;;
                N|n) exit;;
                *) echo -e "$blue请输入'Y'或'N'$color_clean"
            esac
        done
    fi
}

function comfirmUpdate(){
    #更新前需要二次确认
    while true
    do
        echo -n "确认更新？[Y/N]:"
        read replay
        case $replay in
            Y|y) break;;
            N|n) exit;;
            *) echo -e "$blue请输入'Y'或'N'$color_clean"
        esac
    done
}

function checkUpdate(){
    #更新前检查相关环境
    
    return_status=0
    for ((i=0;i<${#delete_file_list[@]};i++));do
        #检查待删除的文件是否存在
        if [ ! -e ${delete_file_list[$i]} ];then
            echo_and_log "文件 ${delete_file_list[$i]} $yellow不存在！无需删除$color_clean"
        fi
        #检查待删除的文件是否有权限删除
        if [ -e ${delete_file_list[$i]} ];then
            if [ ! -w ${delete_file_list[$i]} ];then
                echo_and_log "文件 ${delete_file_list[$i]} $red无权限删除！ $color_clean"
                return_status=8
            fi
        fi
    done
    
    if [ -d "$PROGPATH/update" ];then
        #检查待更新的文件是否缺失
        for ((i=0;i<${#source_file_list[@]};i++));do
            if [ ! -e ${source_file_list[$i]} ];then
                echo_and_log "文件 ${source_file_list[$i]} $red不存在！$color_clean"
                return_status=2
            fi
        done
        
        #检查待更新的文件是否过多
        for file_in_update_package in `find $PROGPATH/update -type f`;do 
            echo ${source_file_list[@]} | grep -wq $file_in_update_package
            if [ "$?" != 0 ];then
                echo_and_log "文件 $file_in_update_package $red不在更新范围内！$color_clean" 
                return_status=4
            fi
        done
        
        #检查是否有文件写入的权限
        for ((i=0;i<${#target_file_list[@]};i++));do
            if [ -e ${target_file_list[$i]} ];then
                if [ ! -w ${target_file_list[$i]} ];then
                    echo_and_log "文件 ${target_file_list[$i]} $red无写入权限！ $color_clean"
                    return_status=8
                fi
#            else
#                检查文件夹权限
            fi
        done
    else
        echo -e "$red更新包未找到! $color_clean"
        return_status=1
    fi

    return $return_status
}

function update(){
    #新建文件夹
    for ((i=0;i<${#make_new_dir[@]};i++));do
        if [ ! -e ${make_new_dir[$i]} ];then
            mkdir -p ${make_new_dir[$i]} > /dev/null 2>&1
            if [ -e ${make_new_dir[$i]} ];then
                echo_and_log "新建文件夹 ${make_new_dir[$i]}\t$green[成功]$color_clean"
            else
                echo_and_log "新建文件夹 ${make_new_dir[$i]}\t$red[失败]$color_clean"
                exit
            fi
        fi
    done
    
    #开始更新文件
    for ((i=0;i<${#source_file_list[@]};i++));do
        MD5_S=`md5sum ${source_file_list[$i]}| awk '{print $1}'`
        if [ -e ${target_file_list[$i]} ];then
            MD5_D=`md5sum ${target_file_list[$i]}| awk '{print $1}'`
            if [ $MD5_S == $MD5_D ];then
                echo_and_log "更新 ${target_file_list[$i]}\t$green[成功：但文件没有发生变化！]$color_clean"
                continue
            fi
        fi
        cp -f ${source_file_list[$i]} ${target_file_list[$i]}
        if [ $? != 0 ];then
            #如果更新不成功则直接执行下一次循环，当前信息由系统错误信息替代
            continue
        fi
        
        MD5_D=`md5sum ${target_file_list[$i]}| awk '{print $1}'`
        if [ $MD5_S == $MD5_D ];then
            echo_and_log "更新 ${target_file_list[$i]}\t$green[成功]$color_clean"
        else
            echo_and_log "    $red[failed]$color_clean"
        fi
    done
    
    #开始删除文件
    for ((i=0;i<${#delete_file_list[@]};i++));do
        if [ -e ${delete_file_list[$i]} ];then
            /bin/rm -f ${delete_file_list[$i]}
            if [ ! -e ${delete_file_list[$i]} ];then
                echo_and_log "删除 ${delete_file_list[$i]} $green[成功]$color_clean"
            fi
        fi
    done

}

function usage(){
    echo "Usage: $0 [check|update]"
}


echo_and_log =====用户 `whoami` 执行  $0 $1 =====
case "$1" in
    "check")
        checkUser
        checkUpdate
        if [[ $? -eq 0 ]] ;then
            echo -e "$green环境检查OK! $color_clean "
        fi
    ;;
    "update"|"")
        checkUser
        comfirmUpdate
        checkUpdate
        if [[ $? == 0 ]] ;then
            update
        fi
    ;;
    *)
        usage
    ;;
esac
    """
    #写文件
    try:
        of=open("update.sh","w")
        of.writelines(script)
        of.close()
        log_and_print("生成更新脚本：update.sh")
        os.system("chmod a+x update.sh")
    except IOError,e:
        log_and_print(e)

def create_rollbak_script(file_in_backuped,file_be_added):
    """创建回退脚本    """
    script="""#!/bin/bash\n"""
    script+=COLOR_SET
    script+="""PROGPATH=`pwd`\n"""

    item=0
    for line in file_in_backuped:
        script+="""source_file_list[%s]=$PROGPATH/backup%s\n""" % (item,line)
        script+="""target_file_list[%s]=%s\n""" % (item,line)
        item+=1

    item=0
    for line in file_be_added:
        script+="""remove_file_list[%s]=%s\n""" % (item,line)
        item+=1
        
    script+="""
#自定义echo功能，将信息显示到屏幕，并加上时间戳后记录到日志文件中
function echo_and_log {
    echo -e $*
    logger -t product_update_$0 "$*"
    echo -e [`date +"%Y-%m-%d %H:%M:%S"`] $* >> log
}
echo_and_log =====用户 `whoami` 执行  $0 =====

#用 root 账号需要二次确认
if [ `id -u` == 0 ];then
    echo "你正在使用 root 账号，是否继续？[Y/N]:"
    while true
    do
        read replay
        case $replay in
            Y|y) break;;
            N|n) exit;;
            *) echo -e "$blue请输入'Y'或'N'$color_clean"
        esac
    done
fi

#回退前需要二次确认
while true
do
    echo -n "确认回退？[Y/N]:"
    read replay
    case $replay in
        Y|y) break;;
        N|n) exit;;
        *) echo -e "$blue请输入'Y'或'N'$color_clean"
    esac
done

#检查备份的文件是否缺失
all_file_exist=true
for ((i=0;i<${#source_file_list[@]};i++));do
    if [ ! -e ${source_file_list[$i]} ];then
        echo_and_log "文件 ${source_file_list[$i]} $red不存在！$color_clean"
        all_file_exist=false
    fi
done
#如果有丢失则退出
if ! $all_file_exist ;then
    echo_and_log "$red回退失败！$color_clean"
    exit
fi

#如有备份，则检查备份文件的完整性
if [ `cat backup.md5| wc -l`==0 ];then
    md5sum -c --status backup.md5
    if [ $? -ne 0 ]; then
        md5sum -c --quiet backup.md5
        echo_and_log "$red更新未执行退出$color_clean"
        exit
    fi
fi


#恢复被修改/删除的文件
for ((i=0;i<${#source_file_list[@]};i++));do
    cp ${source_file_list[$i]} ${target_file_list[$i]}
    if [ $? == 0 ];then
        echo_and_log "恢复 ${target_file_list[$i]}\t$green[成功]$color_clean"
    fi
done

#删除新增文件
for ((i=0;i<${#remove_file_list[@]};i++));do
    if [ ! -e ${remove_file_list[$i]} ];then
        echo_and_log "删除 ${remove_file_list[$i]}\t$red[失败:文件不存在!]$color_clean"
    else
        rm -f ${remove_file_list[$i]}
        if [ $? == 0 ];then
            echo_and_log "删除 ${remove_file_list[$i]}\t$green[成功]$color_clean"
        fi
    fi
done
"""
    #写文件
    try:
        of=open("rollbak.sh","w")
        of.writelines(script)
        of.close()
        log_and_print("生成回退脚本：rollbak.sh")
        os.system("chmod a+x rollbak.sh")
    except IOError,e:
        log_and_print(e)
    
def backup_files(file_list):
    """
    提取并备份文件
    """
    workspace=os.getcwd()
    os.system("""cat /dev/null > backup.md5""")
    log_and_print("开始备份文件...")
    for line in file_list:
        source_dir=os.path.dirname(line)
        file_name=os.path.basename(line)
        target_dir="%s%s" % (BACKUPDIR,source_dir)
        target_file="%s/%s" % (target_dir,file_name)
        #创建文件夹
        if not os.path.exists(target_dir):
            os.system("mkdir -p %s" % target_dir)
        #备份文件
        os.system("cp %s %s" % (line,target_dir))
        if os.path.exists(target_file):
            log_and_print("备份 %s [成功]" % line)
        #生成MD5校验文档
        os.system("md5sum %s >> backup.md5" % target_file)
        
    if len(file_list)==0:
        log_and_print("没有需要备份的文件！")
    else:
        tar_command="tar -czf backup.tar.gz backup"
        os.system(tar_command)
        if os.path.exists("backup.tar.gz"):
            log_and_print("打包备份文档：backup.tar.gz")
        if os.path.exists("backup.md5"):
            log_and_print("生成校验文档：backup.md5")

if __name__=="__main__":
    workspace=os.getcwd()
    #定义SHELL颜色
    global COLOR_SET
    global BACKUPDIR
    global UPDATEDIR
    global LISTFILE
    COLOR_SET="""
color_clean="\\033[0m"
blue="\\033[34m"
green="\\033[32m"
red="\\033[31m"
yellow="\\033[33m"

"""
    BACKUPDIR="backup"
    UPDATEDIR="update"
    LISTFILE="source.txt"
    if os.geteuid() == 0:
        print """
警告：你当前使用的是root用户！
"""
        i=raw_input("(C)继续 (Q)退出: ")
        if i.lower()=="c":
            pass
        else:
            exit()
    
    try:
        LOG_FILE=open("log","a")
    except IOError,e:
        print(e)
    
    log_and_print("=====用户 %s 执行 %s =====" % (getpass.getuser(),os.path.basename(__file__)))
    if not os.path.exists(workspace):
        os.system("mkdir -p %s" % workspace)
    FilePathDict=get_update_list(LISTFILE)
    FileNeedBeBackuped=get_backup_file_list(FilePathDict)
    backup_files(FileNeedBeBackuped)
    create_rollbak_script(FileNeedBeBackuped,get_add_file_list(FilePathDict))
    create_update_script(FilePathDict)


hackvssec
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一些迭代工具
juepei的专栏
12-22 818
说编程，写编程，可是到现在 ，我倒觉得数据结构要挂科了。应试教育害死人，没有办法，挂了就挂了吧，不过为了以后，还是得好好复习，话说以后可能有用的。首先是树和图，在后面好像说要看看这些东西，慢慢来。 继续今天的课程。说了这么多的迭代，没有怎么仔细说过这个词语的意思，查了字典，这个词语就是循环的意思，它是一个动词，一直往返运行。 1.并行迭代 意思就是可以同时迭代两个序列。 names=[
网站开发流程和工具概述.pptx
11-13
- 维护和更新：持续监控网站性能，修复问题，添加新功能，以适应用户需求和市场变化。 2. 网站开发工具： - 编辑器：如Visual Studio Code、Sublime Text、Atom等，用于编写代码。 - 版本控制：Git，用于团队...
项目迭代流程
09-16
按PMP五大过程组，根据项目实际情况，进行工作划分，主要针对新项目，大项目；整个流程包括产品需求确定阶段、交互、界面设计阶段、开发阶段、测试阶段、产品验收阶段、发布阶段
软件工程---------迭代开发项目流程
Slark的博客
04-23 4107
明确产品整体研发流程 根据优先级分期 需求建模阶段 产品确定需求 项目内部审核 初步敲定项目架构 设计方案 项目外部审核 具体开发参与 明确业务关键细节 项目原型图评审 数据库原型图评审 确定项目细节 项目需求开发 项目测试 回归测试 ...
linux 程序更新（程序升级、脚本升级）功能开发流程（软件更新流程、软件升级流程）
最新发布
Dontla的博客
02-06 3312
【代码】linux 程序更新（程序升级）功能开发流程。
快速迭代项目流程图
09-14
主要是整理出一个项目需求从进来，到开发，到测试，到上线的全部流程，以及责任划分的流程梳理，适合巨大多数互联网公司，特别是快速迭代敏捷开发一类的项目管理流程
迭代工具
weixin_30478619的博客
04-30 122
在python中，迭代序列或者其他可迭代对象时，有一些常用函数 1.并行迭代： 程序可以同时迭代两个序列： student=['xiaoming','xiaohong','xiaogang'] number=[1001,1002,1003] for i in range(len(student)): print(student[i],'的学号是：',number[i])#输...
项目的更新迭代
qq_24697301的博客
10-24 3752
我们开发的app一开始肯定都是1.0版本的，但应用上线后公司肯定后期会对应用进行维护对一些Bug修复。这时候新的版本出来了我们就可以通过自己的应用来检查是否有新版本，如果有新版本就可以让用户直接下载安装就不用再去应用市场搜索下载了。大致思路是这样的： 1、每次打开项目判断一下现在的项目版本号与服务器上的版本号一不一样，不一样就弹出版本更新的dialog。 2、dialog点击”确定”开启服务，在
软件升级流程图
s77108887的专栏
06-05 3051
HiUpdate工具-自动应用程序更新
04-08
总结来说，HiUpdateTools是一款强大的工具，它通过自动化应用程序的更新流程，减轻了开发者的工作负担，同时也提升了用户的使用体验。借助于与Visual Studio的深度集成以及多样化的客户端支持，无论你是个人开发者...
应用程序更新流程图.zip
05-29
通用的pc端应用程序升级方案及流程图
三种迭代软件
12-22
jacobi，牛顿，SOR迭代计算非线性方程组的解，十分方便！
APP端升级流程图
11-07
这是App升级的流程示意图，有需要的可以自行下载
apk增量更新和版本信息查看工具
08-21
总结来说，"apk增量更新和版本信息查看工具"是一个专为Android开发者设计的实用工具，它能够帮助开发者快速查看和处理apk的版本信息，实现高效且节省流量的增量更新，从而优化应用的分发和更新流程。通过熟练掌握并...
苹果应用IPA一键签名工具1.7.1.zip
03-13
苹果应用IPA一键签名工具1.7.1.zip是一款专为iOS开发者设计的实用工具，它简化了iOS应用程序的签名过程，使得对IPA文件的重签名和时间限制设置变得更加简便。这款工具尤其适用于那些希望在不使用密码的情况下进行...
阿里热更新demo及补丁工具
07-21
阿里热更新技术是一种高效、安全的Android应用更新方案，它允许开发者在不通过Google Play等应用商店进行全量更新的情况下，仅对应用的部分模块进行修复或升级，极大地提高了用户体验和迭代效率。本压缩包文件“阿里...
测试迭代流程示意图
yxkong的专栏
05-28 1828
帮某人整理的软件测试知识
软件更新的流程分析
it_xiaoshuai的博客
01-09 721
软件更新流程图       在SplashActivity界面启动时检查版本,分别是本地获取版本信息和服务器获取版本信息            在onCreate()方法中获取本地版本号 PkgUtils工具类代码如下: public class PkgUtils { //获取版本名称 public static String ge
程序自动更新流程图
木棉花开时，凤凰涅槃日！
07-02 950
自动化测试和QTP工具培训资料大开科技V0.ppt
11-23
在软件开发过程中，往往需要不断进行版本迭代和更新，而自动化测试可以确保在每个版本发布之前进行全面的回归测试，从而保证新版本的质量和稳定性。 此外，自动化测试还可以避免人工测试容易犯的错误。人在进行手工...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值