python定时任务

346 篇文章 4 订阅
216 篇文章 1 订阅

一个简单的需求,即定时启动python脚本,这种需求很常见,比如定时启动一段程序对服务器状态进行收集,写到文件中,方便运维后期审计,查看服务器占用高峰时间段,从而判断出公司产品在该时间段较多人使用,或定时清除其他程序的日志,释放线上服务器的空间,这块常见的架构是有个转存程序,将日志通过nginx文件服务挂起,然后该程序请求这种文件,将其存储在数据服务器中,而线上服务器的日志就不需要了(游戏日志通常比较大,所以转存程序也需要设计一下)。

本章主要来实现一下定时启动python的需求,当然,定时启动其他任何程序也都一样。

Python threading模块

一开始,为了省事,直接使用python的threading模块,threading模块下有个Timer模块,它可以实现定时启动python程序的需求,用法如下:

  1. from threading importTimer
  2. def timedTask():
  3. print(datetime.datetime.now().strftime(“%Y-%m-%d %H:%M:%S”))
  4. main()#主题程序逻辑
  5. global timer
  6. timer =Timer(300,timedTask)
  7. timer.start()
  8. if name ==‘main’:
  9. timedTask()

值得一提的是,timer需要使用global timer,据说尝试运行时,会释放无需使用的占用资源。

实现方法很简单,即创建Timer()实例,传入两个参数,分别是时间间隔(单位为秒)与定时任务本身,构成一个死递归(因为没有逃出条件),然后就是调用Timer实例的start()方法。

不推荐,虽然网上博客说使用global timer会释放无用资源,但实际没有考证,这种写法在服务器上跑起来的程序通常一天就断,我周日启动该程序,周一来公司看,对应的python程序挂了。

APScheduler

APScheduler是Python用于执行定时操作的第三方框架,作为一个框架,它就有它对应的各种概念,没必要搞那么复杂,学习成本有点高,放弃

Linux crontab

最总还是转到了Linux的crontab服务,该服务主要就是用于实现定时任务的,其语法如下:

 - # .---------------- minute (0 - 59)
 - # | .------------- hour (0 - 23)
 - # | | .---------- day of month (1 - 31)
 - # | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
 - # | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR
 - #sun,mon,tue,wed,thu,fri,sat
 - # | | | | |
 - # * * * * * command to be executed
  • minute:代表一小时内的第几分,范围 0-59。
  • hour:代表一天中的第几小时,范围 0-23。
  • mday:代表一个月中的第几天,范围 1-31。
  • month:代表一年中第几个月,范围 1-12。
  • wday:代表星期几,范围 0-7 (0及7都是星期天)。
  • who:要使用什么身份执行该指令,当您使用 crontab -e 时,不必加此字段。
  • command:所要执行的指令。

crontab服务状态

  1. sudo service crond start #启动服务
  2. sudo service crond stop #关闭服务
  3. sudo service crond restart #重启服务
  4. sudo service crond reload #重新载入配置
  5. sudo service crond status #查看服务状态

查看定时任务

  1. crontab -l

到这里,关于crontab常见的文件就是叫你使用 crontab-e来编写对应crontab配置文件,配置内容的语法如上,例子如下:

# 每天早上6点
06*** echo "Good morning.">>/tmp/test.txt //注意单纯echo,从屏幕上看不到任何输出,因为cron把任何输出都email到root的信箱了。
# 每两个小时
0*/2 * * * echo "Have a break now." >> /tmp/test.txt
# 晚上11点到早上8点之间每两个小时和早上八点
023-7/2,8*** echo "Have a good dream">>/tmp/test.txt

但这边不会这样操作,这种写法并不适合于真正的工作中,就是一个Toy,我希望的是全自动化,这里通过shell脚本来实现自动添加crontab任务。

shell脚本代码如下:

 1. #! /bin/bash
 2. cd LogSys/
 3. work_path=/x1_game/agent_flask/LogSys/
 4. if[!-n "$1"];then
 5. echo "Usages: sh startLog.sh [start|stop]"
 6. exit0
 7. fi
 8. if["$1"= start ];then
 9. if[!-x logs ];then
 10. mkdir logs
 11. fi
 12. if[-f logs/logsys.ini ];then
 13. echo "logsys task is in crontab, can not add the task to crontab
     agent!"
 14. exit0
 15. else
 16. echo $(date "+%Y_%m_%d")>> logs/logsys.ini
 17. chmod 777 start.sh
 18. echo "* * * * * ${work_path}start.sh start >>
     ${work_path}logs/cron.log 2>&1">>/var/spool/cron/root
 19. echo "add LogSys task to crontab"
 20. fi
 21. elif["$1"= stop ];then
 22. if[-f logs/logsys.ini ];then
 23. rm -rf logs/logsys.ini
 24. rm -rf /var/spool/cron/root
 25. echo "Stop success and remove the logsys.ini"
 26. else
 27. echo "logsys is not running"
 28. fi
 29. fi

这是我使用的完整shell脚本,这里自动添加crontab任务的命令只有一行,就是 echo"* * * * * ${work_path}start.sh start >> ${work_path}logs/cron.log 2>&1">>/var/spool/cron/root,这个命令会每分钟都会调用start.sh脚本,而start.sh脚本中启动了python,几个坑需要注意,crontab中请使用绝对路径,因为crontab启动程序时,相对路径所对应的坐标系其实与你手动启动该脚本时是不同的,使用绝对路径省事,这里还将star.sh脚本的输出内容都重定向到对应的日志文件中。

为什么不直接通过crontab启动python程序呢?而是要再绕一层,通过shell脚本来启动,这其实也是一个坑,除非你是单python文件,不然通常都使用shell脚本的形式启动python,而不在直接使用crontab来启动,这同样是因为crontab启动的任务相对路径的坐标系改变了,多文件的python项目相互引入文件时,使用的坐标系与crontab启动时不同,导致crontab直接启动python项目会失败,所以技巧就在于,通过shell脚本来启动python程序,在启动前,通过cd命令进入python项目对应的目录,这样就将启动时的相对路径的坐标系改成与python的一致了

具体可以看一下我的start.sh脚本,代码如下:

 1. #! /bin/bash
 2. currTime=$(date "+%Y_%m_%d")
 3. logfile=${currTime}_logsys.log
 4. if[!-n "$1"];then
 5. echo "Usages: sh start.sh [start|stop]"
 6. exit0
 7. fi
 8. if[!-x logs ];then
 9. mkdir logs
 10. fi
 11. pid=`ps -ef | grep log2mysql | grep -v grep|awk '{print $2}'`
 12. if["$1"= start ];then
 13. if[-n "$pid"];then
 14. echo "log2mysql is running, can not start"
 15. exit0
 16. fi
 17. cd /x1_game/agent_flask/LogSys/
 18. nohup /usr/local/bin/python -u log2mysql.py >> logs/$logfile 2>&1&
 19. pid=`ps -ef | grep log2mysql | grep -v grep|awk '{print $2}'`
 20. echo "start log2mysql, pid is:"$pid
 21. elif["$1"= stop ];then
 22. if[-n "$pid"];then
 23. echo "kill log2mysql, pid is: "$pid
 24. kill -9 $pid
 25. else
 26. echo "log2mysql is not running "$pid
 27. fi
 28. fi

通过python启动任务的关键命令在于

  1. cd /x1_game/agent_flask/LogSys/
  2. nohup /usr/local/bin/python -u log2mysql.py >> logs/$logfile 2>&1&

首先会进入要启动python项目的所在目录,然后再通过python启动对应的py文件,这里使用python解释器同样要使用全路径,因为线上系统中存在多个python,因为该python程序是耗时程序,所以我希望它在后台运行,所以使用了 nohup与 &关键字,将其放在后台去运行。

题外话: centos系统中的yum是依赖python的,具体到centos6,其yum依赖系统本身就存在的python2.6,但开发环境通常要使用python2.7,此时最好不要删除系统中自带的python2.6,如果你直接删除,会导致yum使用不了,此时就需要修改一下yum对应文件中的python指向,最好的方法就是直接安装python2.7,然后在/usr/bin下创建对应的软连接来使用。

小结

python程序员在工作中其实不能只会python,因为python虽然强大,但也会有其缺陷,所以什么好用,用什么才是对的,还有python是一种语言,不要被语言局限。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

二、Python必备开发工具

在这里插入图片描述

四、Python视频合集

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
在这里插入图片描述

五、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。在这里插入图片描述

六、Python练习题

检查学习结果。
在这里插入图片描述

七、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述
在这里插入图片描述
上述这份完整版的Python全套学习资料已经上传CSDN官方,如果需要可以微信扫描下方CSDN官方认证二维码 即可领取

👉[[CSDN大礼包:《python安装包&全套学习资料》免费分享]]安全链接,放心点击

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值