python内核多线程库_Python多线程 - threading

1. GIL

首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(CPython)时所引入的一个概念。就好比C++是一套语言(语法)标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。

为了利用多核，Python开始支持多线程。而解决多线程之间数据完整性和状态同步的最简单方法自然就是加锁。于是有了GIL这把超级大锁，而当越来越多的代码库开发者接受了这种设定后，他们开始大量依赖这种特性(即默认python内部对象是 thread-safe 的，无需在实现时考虑额外的内存锁和同步操作)。

慢慢的这种实现方式被发现是蛋疼且低效的。但当大家试图去拆分和去除GIL的时候，发现大量库代码开发者已经重度依赖GIL而非常难以去除了。

所以简单的说GIL的存在更多的是历史原因。如果推到重来，多线程的问题依然还是要面对，但是至少会比目前GIL这种方式会更优雅。

GIL无疑就是一把全局排他锁。毫无疑问全局锁的存在会对多线程的效率有不小影响。甚至就几乎等于Python是个单线程的程序。

那么读者就会说了，全局锁只要释放的勤快效率也不会差啊。只要在进行耗时的IO操作的时候，能释放GIL，这样也还是可以提升运行效率的嘛。或者说再差也不会比单线程的效率差吧。理论上是这样，而实际上呢？Python比你想的更糟。

下面我们就对比下Python在多线程和单线程下得效率对比。测试方法很简单，一个循环1亿次的计数器函数。一个通过单线程执行两次，一个多线程执行。最后比较执行总时间。

可以看到python在多线程的情况下居然比单线程整整慢了45%。按照之前的分析，即使是有GIL全局锁的存在，串行化的多线程也应该和单线程有一样的效率才对。那么怎么会有这么糟糕的结果呢—— GIL设计的缺陷！

简单的总结下就是：Python的多线程在多核CPU上，只对于IO密集型计算产生正面效果；而当有至少有一个CPU密集型线程存在，那么多线程效率会由于GIL而大幅下降。

用multiprocess替代Thread

multiprocess库的出现很大程度上是为了弥补thread库因为GIL而低效的缺陷。它完整的复制了一套thread所提供的接口方便迁移。

当然multiprocess也不是万能良药。它的引入会增加程序实现时线程间数据通讯和同步的困难。就拿计数器来举例子，如果我们要多个线程累加同一个变量，对于thread来说，申明一个global变量，用thread.Lock的context包裹住三行就搞定了。而multiprocess由于进程之间无法看到对方的数据，只能通过在主线程申明一个Queue，put再get或者用share memory的方法。这个额外的实现成本使得本来就非常痛苦的多线程程序编码，变得更加痛苦了。

用其他解析器

之前也提到了既然GIL只是CPython的产物，那么其他解析器是不是更好呢？没错，像JPython和IronPython这样的解析器由于实现语言的特性，他们不需要GIL的帮助。然而由于用了Java/C#用于解析器实现，他们也失去了利用社区众多C语言模块有用特性的机会。所以这些解析器也因此一直都比较小众。毕竟功能和性能大家在初期都会选择前者，Done is better than perfect 。

2. API

Thread(target, name, daemon=True)

currentThread()

setDaemon(True) # 用于指定为后台进程

将线程声明为守护线程，必须在start() 方法调用之前设置；

后台线程无法等待(与join()操作相反)，不过，这些线程会在主线程终止时自动销毁(如果不设置为后台进程，则主线程结束后，子线程仍继续运行)。

isDaemon()

is_alive()

get/setName()

join()

join所完成的工作就是线程同步，即主线程任务结束之前，进入阻塞状态，一直等待其他的子线程执行结束之后，主线程再终止。

有没有方法，介于 setDaemon() 与 join() 的中间状态？即，主线程退出，子线程继续运行？额，恐怕没有，毕竟一个进程里面的主线程没有说可以切换的。倒是多进程，可以忽略父进程，子进程将作为 孤儿进程 ，直接挂靠到init进程下。

3. 创建子线程

通过 function 创建子线程任务：

from threading import Thread

def threadfun(x,y): # 线程任务函数

for i in range(x,y): print(i)

thread_array = []

for _ in range(2):

tid = Thread(target=threadfun, args=(1,6))

tid.start()

thread_array.append(tid)

for tid in thread_array:

tid.join()

继承 Thread 实现子线程类：

class mythread(threading.Thread):

def run(self): # 重载线程类方法，用于执行线程

pass

if __name__ == '__main__':

ta = mythread()

ta.name = 'thread-ta' # 线程名

tb = mythread()

tb.start()

...

tb.join()

4. 线程同步

在使用多线程的应用下，如何保证线程安全，以及线程之间的同步，或者访问共享变量等问题是十分棘手的问题，也是使用多线程下面临的问题，如果处理不好，会带来较严重的后果，使用python多线程中提供Lock 、Rlock 、Semaphore 、Event 、Condition 用来保证线程之间的同步，后者保证访问共享变量的互斥问题。

Lock & RLock：互斥锁，用来保证多线程访问共享变量的问题

Semaphore对象：Lock互斥锁的加强版，可以被多个线程同时拥有，而Lock只能被某一个线程拥有。

Event对象：它是线程间通信的方式，相当于信号，一个线程可以给另外一个线程发送信号后让其执行操作。

Condition对象：其可以在某些事件触发或者达到特定的条件后才处理数据

4.1. 有了GIL，是否还需要同步？

4.1.1. 死锁

死锁是开发人员在python中编写并发/多线程应用程序时最担心的问题。了解死锁的最佳方法是使