Linux shell脚本单实例运行之flock(1)

最新推荐文章于 2023-09-02 11:22:07 发布
最新推荐文章于 2023-09-02 11:22:07 发布
阅读量1k 收藏 4
点赞数 1
文章标签： shell 数据库 操作系统
原文链接：https://my.oschina.net/superwjc/blog/1810999
版权

1. 简述

github项目地址：https://github.com/superwujc

尊重原创，欢迎转载，注明出处：https://my.oschina.net/superwjc/blog/1810999

某些脚本或程序需要确保单实例运行，如通过cron(8)定时任务执行mysqldump(1)数据库备份，此类任务通常耗时较长，因而每次执行都需占据较多的系统与网络资源，若由于误操作或其他原因而运行了同一任务的多个实例，则将导致不必要的资源浪费，以及其他可能的连锁问题。

shell脚本中可以通过util-linux软件包基于flock(2)系统调用提供的flock(1)工具，以文件锁的方式实现任务的单实例运行；文件锁在Linux系统中的实现可以参照上一篇博文 Linux文件锁实现之flock(2)与fcntl(2)

2. 用法

flock(1)命令包含3种形式：

  1. flock 命令选项 加锁文件或目录 -c 不带参数的命令或脚本
  2. flock 命令选项 加锁文件或目录 不带参数的命令或脚本 命令或脚本的参数
  3. flock 命令选项 引用锁文件的文件描述符

第2种形式中，若命令或脚本的参数为空字符串，则等同于第1种形式。

主要命令行选项与参数包括：

  • -s, --shared：共享锁
  • -x, -e, --exclusive：独占锁，默认类型
  • -u, --unlock：解锁
  • -n, --nb, --nonblock：非阻塞，若指定的文件正在被其他进程锁定，则立即以失败返回
  • -w, --wait, --timeout seconds：若指定的文件正在被其他进程锁定，则等待指定的秒数；指定为0将被视为非阻塞
  • -o, --close：锁定文件后与执行命令前，关闭用于引用加锁文件的文件描述符
  • -E, --conflict-exit-code number：若指定-n时请求加锁的文件正在被其他进程锁定，或指定-w时等待超时，则以该选项的参数作为返回值
  • -c, --command command：运行无参数的命令
  • -h, --help：输出用法信息
  • -V, --version：输出版本信息

标准的util-linux对flock(1)的实现另包含无参数选项-F, --no-fork，允许直接运行指定的命令而不调用fork(2)创建子进程；CentOS7移除了对该选项的支持，总是通过fork(2)创建的子进程运行命令，且父进程调用waitpid(2)等待子进程的退出；由于flock(2)实现的文件锁与系统文件表项相关联，且文件描述符默认随fork(2)继承，因此父子进程中各自包含一个引用同一文件锁的文件描述符，此时需要考虑是否指定-u选项显式解锁，以及是否指定-o选项以关闭子进程中用于引用文件锁的文件描述符。

3. 示例

操作系统与内核版本

# lsb_release -a
LSB Version:	:core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-4.1-amd64:desktop-4.1-noarch:languages-4.1-amd64:languages-4.1-noarch:printing-4.1-amd64:printing-4.1-noarch
Distributor ID:	CentOS
Description:	CentOS Linux release 7.4.1708 (Core)
Release:	7.4.1708
Codename:	Core
# uname -r
3.10.0-693.21.1.el7.x86_64

glibc与gcc版本

# ldd /bin/ls
	linux-vdso.so.1 =>  (0x00007ffdd6fe6000)
	libselinux.so.1 => /lib64/libselinux.so.1 (0x00007fde08885000)
	libcap.so.2 => /lib64/libcap.so.2 (0x00007fde08680000)
	libacl.so.1 => /lib64/libacl.so.1 (0x00007fde08476000)
	libc.so.6 => /lib64/libc.so.6 (0x00007fde080b3000)
	libpcre.so.1 => /lib64/libpcre.so.1 (0x00007fde07e51000)
	libdl.so.2 => /lib64/libdl.so.2 (0x00007fde07c4c000)
	/lib64/ld-linux-x86-64.so.2 (0x000055a89d771000)
	libattr.so.1 => /lib64/libattr.so.1 (0x00007fde07a47000)
	libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fde0782b000)
#
# /lib64/libc.so.6
GNU C Library (GNU libc) stable release version 2.17, by Roland McGrath et al.
Copyright (C) 2012 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.
There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A
PARTICULAR PURPOSE.
Compiled by GNU CC version 4.8.5 20150623 (Red Hat 4.8.5-16).
Compiled on a Linux 3.10.0 system on 2017-11-30.
Available extensions:
	The C stubs add-on version 2.1.2.
	crypt add-on version 2.1 by Michael Glad and others
	GNU Libidn by Simon Josefsson
	Native POSIX Threads Library by Ulrich Drepper et al
	BIND-8.2.3-T5B
	RT using linux kernel aio
libc ABIs: UNIQUE IFUNC
For bug reporting instructions, please see:
<http://www.gnu.org/software/libc/bugs.html>.

util-linux工具包版本

# flock -V
flock from util-linux 2.23.2

示例脚本 - single_instance.sh

#! /bin/bash

source /etc/profile

readonly LOCKFILE="/var/run/single_instance.pid"
readonly FD=$(ls -l /proc/$$/fd | sed -n '$p' | awk '{print $9}')
readonly LOCKFD=$(( ${FD}+1 ))

eexit() {
	local error_str="$@"
	echo -e ${error_str}
	exit 1
}

lock() {
	eval "exec ${LOCKFD}>${LOCKFILE}"
	flock -n ${LOCKFD} && echo "${BASHPID}" > "${LOCKFILE}" || eexit "\e[1;31m$0 is already running\x1b[0m"
}

unlock() {
	flock -u ${LOCKFD}
	eval "exec ${LOCKFD}>&-"
}

do_something() {
	sleep 20
	return 0
}

lock
do_something
if [[ $? == 0 ]]; then
	echo success
	unlock
else
	echo failed
fi

程序逻辑：

1. 加锁，通过exec fd>file的方式以指定的文件描述符打开需要加锁的文件，然后调用flock(1)以非阻塞方式对文件设置独占锁，若成功则将进程PID写入到锁文件，若失败则输出错误信息并返回

2. 执行指定任务，本例中为do_something()函数中的sleep；若成功则解锁，失败则输出错误信息

运行脚本

# ./single_instance.sh &
[1] 6585
#
# cat /var/run/single_instance.pid
6585
#
# ./single_instance.sh
./single_instance.sh is already running

flock(1)的手册页中提供了一种更为简洁的方式，用于单实例运行shell脚本，将语句

[ "${FLOCKER}" != "$0" ] && exec env FLOCKER="$0" flock -en "$0" "$0" "$@" || :

放在脚本的开头，其中$0表示命令或脚本的名称字符串，$@表示命令或脚本的参数字符串列表，单个冒号(':')为shell内置命令，在此表示不执行任何操作。

该行语句可以分解为下列步骤：

  1. 检查变量FLOCKER是否为脚本名称字符串，若不是，则以flock -en "$0" "$0" "$@"替换当前进程，并传递环境变量FLOCKER="$0"，导致的结果为，脚本文件自身成为非阻塞独占锁文件，且变量FLOCKER的值为脚本名称字符串。
  2. flock(1)加锁后，以子进程运行"$0" "$@"，即再一次重新运行脚本；由于环境变量会被子进程继承，因而此时[ "${FLOCKER}" != "$0" ]为假，||之后的内容将被执行，而单个冒号不执行任何操作，因此该行之后的内容将被执行，且执行期间将一直独占性锁定脚本文件自身。
  3. 再次尝试运行该脚本时，[ "${FLOCKER}" != "$0" ]依然为真，但若已有实例正在运行，则加锁操作将失败，flock(1)以状态码1退出。

转载于:https://my.oschina.net/superwjc/blog/1810999

ciguaxi2841
关注
linux shc shell脚本_Linux shell脚本单实例运行之flock(1)
weixin_39543655的博客
12-23 467
1. 简述某些脚本或程序需要确保单实例运行，如通过cron(8)定时任务执行mysqldump(1)数据库备份，此类任务通常耗时较长，因而每次执行都需占据较多的系统与网络资源，若由于误操作或其他原因而运行了同一任务的多个实例，则将导致不必要的资源浪费，以及其他可能的连锁问题。shell脚本中可以通过util-linux软件包基于flock(2)系统调用提供的flock(1)工具，以文件锁的方式实现...
Linux shell脚本单进程执行
llCnll的博客
01-17 1351
简要 在持续集成(CI)中, 我们的项目使用的是 shell, 某个stages是需要单例执行(因为要独占进程). 因此想到了要使用单例. 等待执行. 第一种方案 代码 #!/bin/bash file_name=`basename $0` echo $file_name while [ `pgrep -f ${file_name} | wc -l` -gt 2 ]; do ech...
Linux下在shell脚本中设置锁的命令
01-08
详细介绍了Linux shell下flock的使用，并提供了例子供参考。
shell flock
weixin_34306446的博客
12-20 728
#!/bin/sh { flock -n 3 [ $? -eq 1 ] && { echo fail; exit; } echo $$ sleep 10 } 3>mylockfile 转载于:https://blog.51cto.com/bio...
linux flock使用锁
weixin_34337265的博客
05-28 360
当多个进程可能会对同样的数据执行操作时，这些进程需要保证其它进程没有也在操作，以免损坏数据。通常，这样的进程会使用一个「锁文件」，也就是建立一个文件来告诉别的进程自己在运行，如果检测到那个文件存在则认为有操作同样数据的进程在工作。这样的问题是，进程不小心意外死亡了，没有清理掉那个锁文件，那么只能由用户手动来清理了。像 pacman 或者 apt-get 一些数据库服务经常在意...
Shell锁-flock
ZERO
05-28 6028
在linux中，提供了flock文件锁命令，具体格式如下： flock [-sxon] [-w timeout] lockfile [-c]command... flock [-sxun] [-w timeout] fd 参数说明如下：        -s为共享锁，在定向为某文件的FD上设置共享锁而未释放锁的时间内，其他进程试图在定向为此文件的FD上设置独占锁的请求失败，而其他进程试图
Linux Shell文件锁实践：util-linux flock与liblockfile1、procmail lockfile对比
本文主要介绍了三种实现文件锁的方法，以解决shell脚本中避免资源竞争的问题。 1. **util-linux的flock**: - `flock`是util-linux工具包中的命令，用于获取文件锁。有两种常见用法： - `flock -s 200; COMMAND;`...
shell脚本实现文件锁功能
09-15
总的来说，通过巧妙地使用`flock`，我们可以确保在多进程环境中，特定的Shell脚本或命令只会在前一个实例完成并释放锁之后才能执行，从而有效地防止了数据的不一致性和资源的竞争。这对于那些需要按顺序执行或者不...
Linux shell flock详解,Linux shell：Flock简介
weixin_30746095的博客
05-13 5464
简介当多个进程操作同一份资源时，为了避免损坏数据， 每个进程在运行时都要保证其它进程没有同时操作资源， 这时通过flock命令给资源加锁可以实现此需求。flock - 在打开的文件上应用或删除咨询锁命令flock [options] [command args]flock [options] -c flock [options] options：-s, -share 读锁，共享锁-x, -e...
flock:flock（1）锁定文件
05-15
羊群（1） flock（1）锁定文件 可能可行的最简单的方法 要在运行实用程序时专门锁定/tmp/my.lock ，请echo "hello, world!" ： flock /tmp/my.lock echo "hello, world!" 您也可以使用一次运行rsync的单个实例-注意：无需转义双引号 flock -n /tmp/my-lock.lock rsync -avr -e "ssh -p 22" "~/my path with spaces/" user@remote-host:/Documents/ 正在安装 Mac OS X Homebrew： brew tap discoteq/discoteq brew install flock 来自来源： FLOCK_VERSION=0.4.0 wget https://github.com/discoteq/fl
Linux shell flock详解,linux之flock实现shell锁
weixin_31748605的博客
05-13 3002
flock工具可以实现shell脚本或命令行锁，使用方式：1. flock [-sxon] [-w timeout] lockfile [-c] command...2.flock [-sxon] [-w timeout] lockdir [-c] command...3.flock [-sxun] [-w timeout] fd前2种方式主要用在命令行中，通过创建文件或文件夹来实现锁机制。第3种...
【博客702】shell flock实现单例模式执行任务
最新发布
qq_43684922的博客
09-02 883
我们需要定时执行一个任务，并且保证每次执行时都需要上一次已经执行完了，即保证同一时间只有一个在运行。
实现shell脚本单例运行
qq_27546717的博客
03-28 664
来源：公众号【编程珠玑】 作者：守望先生 ID：shouwangxiansheng 假设你的一个脚本已经在运行了，如果避免再次被执行呢？也就是如何实现单例运行？ 看起来可行的方法 一个非常简单的思路就是，新的脚本被执行时，先检测当前脚本是否有其他实例正在运行，如果有则直接退出。 #!/usr/bin/env bash#test.sh 来源：公众号编程珠玑#获取当前运行的test.sh脚本数runCount=$(ps -ef|grep test.sh | grep -v grep -c)if [ "${run
linux 文件 锁 shell,linux shell flock文件锁用法，以及文件按行队列处理
weixin_36402765的博客
05-13 440
linux shell flock文件锁用法。//---------------keylist.txt-------------------需要处理的数据，复精华体乳液眼影刷浴啫喱保湿凝修护晚男士淡手工皂部修护拱辰享去屑洗湿化妆湿喷雾保湿滋.........//--------get_one.sh-----------每次从keylist.txt独占取一行,flock -x /tmp/.start...
linux之flock实现shell锁
热门推荐
任何技能都是从模仿开始，逐步升华。
11-09 1万+
flock工具可以实现shell脚本或命令行锁，
linux多个脚本放在一个脚本中执行,Linux中如何防止一个Shell脚本被重复执行？
weixin_36078245的博客
05-03 673
问题场景：有时执行任务的频率比较快，并不知道上一个脚本是否真的执行完毕。而导致重复执行几个一样的脚本。举个栗子：脚本tim.sh的内容如下：#/bin/bashsleep 300 #单位是s,即睡眠300/60s=5min然后，我们在五分中之内连续执行三次命令：sh tim.sh &效果如下： 即多次运行脚本，会导致同一脚本重复启动的问题，但是此时业务要求同一时刻只能有一个同样的脚本在运行...
Linux 限制shell脚本并发执行（通过flock对文件加锁）
HotIce0
08-06 2494
一、flock声明 Usage: flock [options] <file>|<directory> <command> [<argument>...] flock [options] <file>|<directory> -c <command> flock [options] <file descriptor number> Manage file locks from shell scripts.
shell脚本文件锁——避免脚本重复执行
喜欢打篮球的普通人
06-15 7608
文章目录1.在shell中实现文件锁的两种方式2.使用flock命令 1.在shell中实现文件锁的两种方式 方法一：利用普通文件 （1）在脚本启动时检查特定文件是否存在，如果存在，则等待一段时间后继续检查，直到文件不存时创建该文件，在脚本结束时删除文件。 （2）为确保脚本在异常退出时文件仍然能被删除，可以借助于trap “cmd” EXIT TERM INT命令。 （3）一般这类文件存放在/var/lock/目录下，操作系统在启动时会对该目录做清理。 方法二：使用flock命令 （1）使用方式如下
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值