关闭

linux使用flock文件锁解决crontab冲突问题

标签: linux服务器crontab flock
705人阅读 评论(0) 收藏 举报
分类:

linux的crontab命令,可以定时执行操作,最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》

现在有个问题,如果设定了任务每分钟执行一次,但有可能一分钟内任务并没有执行完成,这时系统会再执行任务。导致两个相同的任务在执行。

例如:

  1. <?  
  2. // test.php  
  3. for($i=0; $i<300; $i++){  
  4.     echo date('Y-m-d H:i:s')."\r\n";  
  5.     sleep(1);  
  6. }  
  7. ?>  
循环300次,每循环一次睡眠1秒。执行完成需要300秒即5分钟。

设置crontab 为每分钟执行

[plain] view plaincopy
  1. * * * * * php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.log  
2分钟后,使用 ps aux|grep test.php 查看,可以看到有两个test.php进程在执行。

3分钟后,看到有3个test.php进程在执行。

[plain] view plaincopy
  1. fdipzone@ubuntu:/tmp$ ps aux|grep test.php  
  2. fdipzone  2995  0.0  0.0   4220   588 ?        Ss   00:28   0:00 /bin/sh -c php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.log  
  3. fdipzone  2996  0.0  0.8 108328  8564 ?        S    00:28   0:00 php /home/fdipzone/php/test.php  
  4. fdipzone  3033  0.0  0.0   4220   584 ?        Ss   00:29   0:00 /bin/sh -c php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.log  
  5. fdipzone  3034  0.1  0.8 108328  8564 ?        S    00:29   0:00 php /home/fdipzone/php/test.php  
  6. fdipzone  3047  0.0  0.0   4220   588 ?        Ss   00:30   0:00 /bin/sh -c php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.log  
  7. fdipzone  3048  1.3  0.8 108328  8560 ?        S    00:30   0:00 php /home/fdipzone/php/test.php  
  8. fdipzone  3051  0.0  0.1  13148  1068 pts/0    S+   00:30   0:00 grep --color=auto test.php  

我们是希望执行完上一任务,再执行下一任务,如果上一任务未执行完成,则这次的任务不执行,直到下一周期再判断,如果上一任务执行完成,则可以执行下一任务。


改进方法

我们可以使用一个锁文件,来记录任务是否执行中。

首先判断/tmp/mytest.lock是否存在,如果不存在,则创建,然后执行任务,任务执行完后删除锁文件。

如果锁文件已经存在,则退出这次的任务。

  1. <?php  
  2. $lockfile = '/tmp/mytest.lock';  
  3.   
  4. if(file_exists($lockfile)){  
  5.     exit();  
  6. }else{  
  7.     file_put_contents($lockfile, 1, true);  
  8. }  
  9.   
  10. for($i=0; $i<300; $i++){  
  11.     echo date('Y-m-d H:i:s')."\r\n";  
  12.     sleep(1);  
  13. }  
  14.   
  15. unlink($lockfile);  
  16. ?>  
这样的确可以保证任务执行其间不会有新任务执行,但这样需要在任务文件中写代码做判断,不方便。能不能把任务锁定的判断放在任务以外呢?


使用linux flock 文件锁实现任务锁定,解决冲突

格式:

flock [-sxun][-w #] fd#

flock [-sxon][-w #] file [-c] command

选项

[plain] view plaincopy
  1. -s, --shared:    获得一个共享锁  
  2. -x, --exclusive: 获得一个独占锁  
  3. -u, --unlock:    移除一个锁,通常是不需要的,脚本执行完会自动丢弃锁  
  4. -n, --nonblock:  如果没有立即获得锁,直接失败而不是等待  
  5. -w, --timeout:   如果没有立即获得锁,等待指定时间  
  6. -o, --close:     在运行命令前关闭文件的描述符号。用于如果命令产生子进程时会不受锁的管控  
  7. -c, --command:   在shell中运行一个单独的命令  
  8. -h, --help       显示帮助  
  9. -V, --version:   显示版本  
继续用回第一个test.php,文件锁使用独占锁,如果锁定则失败不等待。参数为-xn

[plain] view plaincopy
  1. * * * * * flock -xn /tmp/mytest.lock -c 'php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.log'  
这样当任务未执行完成,下一任务判断到/tmp/mytest.lock被锁定,则结束当前的任务,下一周期再判断。
0
0
查看评论

php 使用redis锁限制并发访问类

本文介绍php使用redis锁,实现在分布式架构环境下,有效限制并发访问的方法及实例。
  • fdipzone
  • fdipzone
  • 2016-06-30 22:11
  • 50640

flock防止crontab重复执行脚本

经常会有crontab进程会执行完,又起个进程,造成错误。 使用linux flock 文件锁实现任务锁定,解决这个问题flock flock (util-linux-ng 2.17.2) Usage: flock [-sxun][-w #] fd# flock [-sxon][-...
  • q601115211
  • q601115211
  • 2017-08-21 16:54
  • 315

crontab 定时任务避免重复执行

使用crontab设置一个脚本每个一段时间自动执行一次,当脚本的执行时间超过crontab设置的时间间隔,那个脚本就会在同一时刻同时执行。比如设置crontab每隔五分钟执行一次task.sh:*/5 * * * * /bin/bash /pathto/task.sh如果task.sh执行超过了5分...
  • bdss58
  • bdss58
  • 2017-03-12 11:50
  • 1783

flock防止crontab脚本周期内未执行完重复执行

如果某脚本要运行30分钟,可以在Crontab里把脚本间隔设为至少一小时来避免冲突。而比较糟的情况是可能该脚本在执行周期内没有完成,接着第二个脚本又开始运行了。如何确保只有一个脚本实例运行呢?一个好用的方法是利用lockf(FreeBSD 8.1下为lockf,CentOS 5.5下为flock),...
  • u014365655
  • u014365655
  • 2014-08-14 12:25
  • 1811

linux使用flock文件锁解决crontab冲突问题

linux的crontab命令,可以定时执行操作,最小是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》
  • fdipzone
  • fdipzone
  • 2014-07-30 01:00
  • 36629

flock shell script 使用速记

背景在进行后台开发的时候,由于项目本身由多位同事维护,而布设的测试服务器仅一台, 便经常出现脚本执行的多线程(多人) 问题。 比如我们有一个rebuild脚本, 负责重新编译整个项目, 有的时候同时我更新了代码,便登陆测试服务器更新编译,殊不知另一个同事也在编译, 于是两个人都编译不好了, 而且如...
  • cchd0001
  • cchd0001
  • 2016-01-24 18:45
  • 1083

文件锁 flock及fcntl flock

原文地址:http://blog.chinaunix.net/uid-24774106-id-3488649.html  提到了flock,不提fcntl这个锁有点不想话,毕竟fcntl这个锁才是更常见的一把锁。咱也不能拈轻怕重,逮着软柿子可劲捏,今天我们比较下这两种类型...
  • Mr_MuMu
  • Mr_MuMu
  • 2016-03-08 17:24
  • 746

文件锁与NFS文件锁

原文:http://www.cnblogs.com/zhenjing/archive/2011/07/04/filelock.html 缘起 因项目需要,自行设计一套通用的文件读写锁,要求该机制能用于本地文件系统和NFS文件系统。 内核的文件数据结构 内核中有3个数据结构和文...
  • fengxinze
  • fengxinze
  • 2011-12-26 21:02
  • 2021

NFS中的文件锁

文件锁是保持文件同步的一种手段,当多个用户同时操作同一个文件时,文件锁可以保证数据不发生冲突。NFSv2和NFSv3依靠NLM协议实现文件锁,NFSv4本身实现了文件锁,不需要NLM协同工作了。NFS中的文件锁既可以加在客户端,也可以加在服务器端。如果客户端挂载NFS文件系统时使用了选项nolock...
  • ycnian
  • ycnian
  • 2013-03-09 15:26
  • 9188

Rsync添加进程锁,防止重复进程

转自: http://pakey.net/blog/rsync-lock.html 在很多人用crontab执行rsync脚本同步时会出现一个进程没有跑完,就会起另外一个进程,等于是脚本重复在跑,这样会造成服务器的负载过高,导致服务器上的一些服务异常 为了避免这类异常的发生我们仅需要在...
  • yuliying
  • yuliying
  • 2017-04-05 12:34
  • 1277
    个人资料
    • 访问:245007次
    • 积分:2871
    • 等级:
    • 排名:第14631名
    • 原创:78篇
    • 转载:24篇
    • 译文:2篇
    • 评论:16条
    最新评论