有之前的认识WSGI和WSGI的前世今世之后,现在就可以介绍如何在gunicorn + Flask架构模式下,在Flask处理线程中使用全局锁。
说到锁在Python中也有很多锁,最常见用的就是多进程锁(multiprocessing.Lock)和多线程锁(threading.Lock)。正常情况下,我们是可以直接使用这些锁的。多进程锁可以在多个子进程中实现锁定临界资源的功能,而多线程锁则只在子线程中可以锁定临界资源。
而一旦你使用了gunicorn + Flask的架构。gunicorn就会启动多个worker子进程,每个子进程可以看做是一个独立的Flask进程。现在需要在所有worker进程中的Flask应用内申请锁资源,并且该锁资源需要在其它worker中是互斥的。
在不改变gunicorn源码的情况下,我们无法在主进程中创建一个锁,之后在子进程中直接使用;并且在gunicorn调用flask接口的时候也未提供传入额外参数的接口。所以在一开始的时候,并未找到让各Falsk子进程共享锁的方法。通过网上的相关查询,觅得另外的解决方案:通过实现一个脱离Flask进程的外部锁,比如:db记录锁、redis记录锁、文件锁等方式。最终我选择了使用文件锁来解决Flask进程之间的锁共享问题。文件锁代码如下:
#!/usr/bin/env python
# coding=utf-8
#
# File Lock For Multiple Process
import os
import time
WINDOWS = 'windows'
LINUX = 'linux'
SYSTEM = None
try:
import fcntl
SYSTEM = LINUX
except:
SYSTEM = WINDOWS
class Lock(object):
@staticmethod
def get_file_lock():
return FileLock()
class FileLock(object):
def __init__(self):
lock_file = 'FLASK_LOCK'
if SYSTEM == WINDOWS:
lock_dir = os.environ['tmp']
else:
lock_dir = '/tmp'
self.file = '%s%s%s' % (lock_dir, os.sep,lock_file)
self._fn = None
self.release()
def acquire(self):
if SYSTEM == WINDOWS:
while os.path.exists(self.file):
time.sleep(0.01)