python文件加锁

使用fcntl

在linux下，python的标准库有现成的文件锁，来自于fcntl模块。这个模块提供了unix系统fcntl()和ioctl()的接口。

对于文件锁的操作，主要需要使用 fcntl.flock(fd, operation)这个函数。

其中，参数 fd 表示文件描述符；参数 operation 指定要进行的锁操作，该参数的取值有如下几种：

LOCK_SH：表示要创建一个共享锁，在任意时间内，一个文件的共享锁可以被多个进程拥有

LOCK_EX：表示创建一个排他锁，在任意时间内，一个文件的排他锁只能被一个进程拥有

LOCK_NB：创建一个非阻塞锁，如果访问一个加了锁文件立即返回不等待

LOCK_UN：表示删除该进程创建的锁

LOCK_MAND：它主要是用于共享模式强制锁，它可以与 LOCK_READ 或者 LOCK_WRITE联合起来使用，从而表示是否允许并发的读操作或者并发的写操作

demo

import fcntl
import threading
import time
import datetime as dt
import logging
logging.basicConfig(level=logging.INFO,format='%(asctime)s %(name)s %(levelname)s %(message)s')
  
  
def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 with open(txtFile, 'a') as f:
  fcntl.flock(f.fileno(), fcntl.LOCK_EX) #排他锁
  logging.info("{0} acquire lock".format(id))
  f.write("{} write from {} \r\n".format(dt.datetime.now(),id))
  time.sleep(3)
 # 在with块外，文件关闭，自动解锁
 logging.info("{0} exit".format(id))
  
  
for i in range(5):
 myThread = threading.Thread(target=writetoTxt, args=("test.txt",))
 myThread.start()

代码运行期间，控制台将依次打印哪个线程获得了锁，在对文件进行读写。

测试共享锁

def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 with open(txtFile, 'a') as f:
  fcntl.flock(f.fileno(), fcntl.LOCK_EX|fcntl.LOCK_SH) #共享锁
  logging.info("{0} acquire lock".format(id))
  f.write("{} write from {} \r\n".format(dt.datetime.now(),id))
  time.sleep(3)
 # 在with块外，文件关闭，自动解锁
 logging.info("{0} exit".format(id))

1~5线程同时访问文件

测试非阻塞锁

def writetoTxt(txtFile):
 id = threading.currentThread().getName()
 with open(txtFile, 'a') as f:
  fcntl.flock(f.fileno(), fcntl.LOCK_EX|fcntl.LOCK_NB) #排他锁和非阻塞锁
  logging.info("{0} acquire lock".format(id))
  f.write("{} write from {} \r\n".format(dt.datetime.now(),id))
  time.sleep(3)
 # 在with块外，文件关闭，自动解锁
 logging.info("{0} exit".format(id))

线程2~5会直接返回报错

小结

通过调用

fcntl.flock(f.fileno(), fcntl.LOCK_EX)

对文件加锁，如果有其他线程尝试对test文件加锁，会被阻塞。

当线程执行完毕的时候，锁会自动释放。或者也可以采取主动的方式解锁：调用

fcntl.flock(f.fileno(),fcntl.LOCK_UN)

函数， 对文件test解锁

参考：

https://www.jb51.net/article/154555.htm 对Python多线程读写文件加锁的实例详解