Python 多进程和多线程测试实例

GIL(Global interpreter lock)

说到 Python 中的多线程，一个绕不过去的话题就是全局锁 GIL。GIL 限制了同一时刻只能有一个线程运行，无法发挥多核 CPU 的优势。GIL 本质就是一把互斥锁，既然是互斥锁，所有互斥锁的本质都一样，都是将并发运行变成串行，以此来控制同一时间内共享数据只能被一个任务所修改，进而保证数据安全。

因此，有了 GIL 的存在，同一时刻同一进程中只有一个线程被执行，那么有人可能要问了：进程可以利用多核，而 Python 的多线程 却无法利用多核优势，Python 的多线程是不是没用了？答案当然不是。

首先明确我们线程执行的任务是什么，是做计算（计算密集型）还是做输入输出（I/O 密集型），不同地场景使用不同的方法。 多核 CPU，意味着可以有多个核并行完成计算，所以多核提升的是计算性能,但每个 CPU 一旦遇到 I/O 阻塞，仍然需要等待，所以多核对 I/O 密集型任务没什么太高提升。

例子 1 ：计算密集型任务

计算密集型任务-多进程

测试代码：

from multiprocessing import Process
import os, time

#计算密集型任务
def work():
    res = 0
    for i in range(100000000):
        res *= i 

if __name__ == "__main__":
    l = []
    print("本机为",os.cpu_count(),"核 CPU")  # 本机为4核
    start = time.time()
    for i in range(4):
        p = Process(target=work)  # 多进程
        l.append(p)
        p.start()
    for p in l:
        p.join()
    stop = time.time()
    print("计算密集型任务，多进程耗时 %s" % (stop - start))

测试结果：

本机为 4 核 CPU
计算密集型任务，多进程耗时 14.901630640029907

计算密集型任务-多线程

测试代码：

from threading import Thread
import os, time

#计算密集型任务
def work():
    res = 0
    for i in range(100000000):
        res *= i

if __name__ == "__main__":
    l = []
    print("本机为",os.cpu_count(),"核 CPU")  # 本机为4核
    start = time.time()
    for i in range(4):
        p = Thread(target=work)  # 多进程
        l.append(p)
        p.start()
    for p in l:
        p.join()
    stop = time.time()
    print("计算密集型任务，多线程耗时 %s" % (stop - start))

测试结果：

本机为 4 核 CPU
计算密集型任务，多线程耗时 23.559885025024414

例子 2：I/O 密集型任务

I/O密集型任务-多进程

测试代码：

from multiprocessing import Process
import os, time

#I/0密集型任务
def work():
    time.sleep(2)
    print("===>", file=open("tmp.txt", "w"))

if __name__ == "__main__":
    l = []
    print("本机为", os.cpu_count(), "核 CPU")  # 本机为4核
    start = time.time()
    for i in range(400):
        p = Process(target=work)  # 多进程
        l.append(p)
        p.start()
    for p in l:
        p.join()
    stop = time.time()
    print("I/0密集型任务，多进程耗时 %s" % (stop - start))

测试结果：

本机为 4 核 CPU
I/0密集型任务，多进程耗时 21.380212783813477

I/O密集型任务-多线程

测试代码：

from threading import Thread
import os, time

#I/0密集型任务
def work():
    time.sleep(2)
    print("===>", file=open("tmp.txt", "w"))


if __name__ == "__main__":
    l = []
    print("本机为", os.cpu_count(), "核 CPU")  # 本机为4核
    start = time.time()

    for i in range(400):
        p = Thread(target=work)  # 多线程
        l.append(p)
        p.start()
    for p in l:
        p.join()
    stop = time.time()
    print("I/0密集型任务，多线程耗时 %s" % (stop - start))

测试结果：

本机为 4 核 CPU
I/0密集型任务，多线程耗时 2.1127078533172607