Python学习笔记--线程锁

1 使用多线程获得返回结果

 import threading
 class MyThread(threading.Thread):
    def __init__(self, target=None, args=(), **kwargs):
        super(MyThread, self).__init__()
        self._target = target
        self._args = args
        self._kwargs = kwargs
    def run(self):
        if self._target == None:
            return
        self.__result__ = self._target(*self._args, **self._kwargs)

    def get_result(self):
        self.join()#当需要取得结果值的时候阻塞等待子线程完成
        return self.__result__
def concater(start,end):
    return pd.concat(lst[start:end],sort=True)
t1 = MyThread(target=concater,args=(0,10000) )
t2 = MyThread(target=concater,args=(10000,20000) )
s1 =  t1.get_result()
s2 = t2.get_result()
s1.to_csv('t1.csv',index=False)
s2.to_csv('t2.csv',index=False)

如果你想启动python的多线程对一个数据进行累加的操作，如果在py2上你多执行几次会发现少加了。原因是如果某个线程拿到公共数据477时，该线程就会申请一个gil lock，python解释器就会调用系统的原生线程（我们常用的就是cPython，那么调用的就是c的线程），python每执行100条指令（如：计算机底层对加这样一个操作就需要几百条的指令）就会释放gil锁，如果此时cpu还没来得及在os平台上做完运算就释放了gil锁，那么477就会暂存在cpu的临时缓存中。另一个线程就会申请到gil锁，此时，这个线程从公共数据中拿到的还是477，最后计算完后就是478，然后释放gil锁。刚刚还没计算完的线程获取到gil锁后，接着从cpu寄存器（临时缓存）中取出477做完“加”运算返回给公共数据库后还是478。这样，出来的最后结果会少加1。所以，最好的办法是加上一个线程锁py3虽然没有官方说明，但是貌似自己加上了线程锁

添加的线程锁如下：

#-*- coding:utf-8 -*-
import threading
import time

lock = threading.Lock() #生成全局锁
def run():
    global num
    lock.acquire()  #修改数据前加锁
    num += 1
    lock.release()  #修改数据后释放锁
    time.sleep(2)

num = 0
if __name__ == "__main__":
    for i in range(500):
        t1 = threading.Thread(target = run)
        t1.start()
    print(num)

====================================
从以下代码更能看出结果，如果加上锁，输出结果为线程1执行一段时间，然后线程2执行1段时间。如果不加上锁，基本是3个线程轮流执行。

def sum(n):
    while True:
        global count
        # lock.acquire()
        count += 1
        print(n)
        # lock.release()

count = 0
lock = threading.Lock()

#lock = lock.acquire()   #如果还想在外面加上一层锁，那么lock = threading.RLock()  需要使用递归锁
for i in range(3):
    t = threading.Thread(target=sum,args=(i,))
    t.start()
#lock = lock.release() 

=====================
刚刚用线程写一个生信的自动监测的脚本的时候，就忽略了线程锁，导致出现了这个问题，当t1线程进入了tumor_recal_split，这时，因为没有加锁，t1线程释放了gil锁，t2线程申请到gil锁，然后t2线程进入normal_recal_split目录。t2线程释放gil锁，t1线程申请到gil锁，t1线程执行sh 1710260.recal.bat.sh发现没有这个shell脚本（因为当前是在normal_recal_split目录下，只有1721010.recal.bat.sh脚本）。如果给这2个函数加上线程锁就ok了。