python多进程假死

结论：python多进程间用Queue通信时，如果子进程操作Queue满了或者内容比较大的情况下，该子进程会阻塞等待取走Queue内容(如果Queue数据量比较少，不会等待)，如果调用join，主进程将处于等待，等待子进程结束，造成死锁

解决方式：在调用join前，及时把Queue的数据取出，而且Queue.get需要在join前

原理分析

模拟子进程阻塞：

from multiprocessing import Process, Queue


def fun(q):
    num = 1000000000
    q.put('=' * num)
    print("done put")


if __name__ == '__main__':
    queue = Queue()
    p = Process(target=fun, args=(queue,))
    p.start()
    p.join()
    print("done")

原因分析：

#
# Queue type using a pipe, buffer and thread
#

class Queue(object):

multiprocessing.Queue底层是基于Pipe构建，操作系统管道不是无限长，因此子进程在执行put()期间，处于阻塞，直到某些其他进程使用get()从队列中取走数据。上例中，主进程等待子进程，打印不了done

 

而当队列put数据比较少时，是没有问题的，先打印done put，再打印done，但这样写法是有隐患，当put数据比较多时，就会阻塞

from multiprocessing import Process, Queue


def fun(q):
    num = 1
    q.put('=' * num)
    print("done put")


if __name__ == '__main__':
    queue = Queue()
    p = Process(target=fun, args=(queue,))
    p.start()
    p.join()
    print("done")

正确的写法

from multiprocessing import Process, Queue


def fun(q):
    num = 1000000000
    q.put('=' * num)
    print("done put")


if __name__ == '__main__':
    queue = Queue()
    p = Process(target=fun, args=(queue,))
    p.start()
    queue.get()
    p.join()
    print("done")

在join前面调用queue.get

 

注意！！！以下这样写法也是不对的，join要在queue.get前面，不然主进程等待子进程结束，而子进程等待队列数据取走，造成死锁

    p = Process(target=fun, args=(queue,))
    p.start()
    p.join()
    queue.get()

 

Python多线程补充

Python 是一门解释型语言，它的执行是由解释器来控制的。

GIL，全称是 Global Interpreter Lock ，全局解释锁 ，专门给解释器用

一般情况下在用户态下是无法做到线程级别的时间片轮转

但是 python 能做到！python 里，解释器可以记录每一个线程执行了多长时间——时间一到，就能够切换到另一条线程。

GIL 就是拿来给线程加锁的，当一个线程将要执行时，解释器会把 GIL 锁给这个线程，其他线程因为没有锁，是无法运行的。等到持有锁线程阻塞或者运行 100 个字节码，解释器就会把锁交给其他线程。

但是这个 GIL 锁是全局（Global）的，也就导致即使是多核情况下，一次也只有一个线程能运行，从整体上看，整个程序是串行的。

python多线程应用

拿爬虫程序来说吧，单个爬虫总会花时间在下载网页上，很多 CPU 时间就浪费掉了，提供 sleep 机制后，这些爬虫可以在等待下载时释放 GIL 锁，把机会让给其他爬虫，这样整体运行速度能够得到大幅提升

也就是说 Python 的多线程适合 I/O 密集型的程序，但是对计算密集型程序就不那么友好了

对于计算密集型程序用多进程或者让 python 调用 C 语言的代码，在 C 语言里实现多线程