Python多线程使用需警惕

Python中除了常用的thread与threading模块可以实现多线程外

multiprocessing.dummy模块也可以实现多线程

它是multiprocessing模块的一个复制，multiprocessing模块是用来处理多进程的，但多进程不同进程不共享内存，所以需要消耗大量资源。

以下是一个使用multiprocessing.dummy模块实现多线程与单线程的比较

from multiprocessing.dummy import Pool as ThreadPool
import time
def f(x):
    val=x
    for i in xrange(100000):
        if i!=0:
            val*=i
            val%=10000
    return x
start = time.time()
iter=10000
pool=ThreadPool(8)
res=pool.map(f,xrange(100))
pool.close()
pool.join()
pool=ThreadPool(8)
res2=pool.map(f,xrange(100))
pool.close()
pool.join()
print "Elapsed Time: %s" % (time.time() - start)

from multiprocessing.dummy import Pool as ThreadPool
import time
def f(x):
    val=x
    for i in xrange(100000):
        if i!=0:
            val*=i
            val%=10000
    return x
start = time.time()
iter=10000
for i in xrange(100):
    f(i)
for i in xrange(100):
    f(i)
print "Elapsed Time: %s" % (time.time() - start)

在我的机器上，单线程版本跑了7s，多线程版本跑了14s，不合常理吧

关键在于Python对多线程的支持受到Global Interpreter Lock (GIL)的限制，一次只能一个线程在运行，所以导致多线程不是我们所想象的多个线程在不同cpu核上同时运行的情况。