python 学习之路 ---多进程精讲

多进程

由于Python的GIL全局解释器锁存在，多线程未必是CPU密集型程序的好的选择。

多进程可以完全独立的进程环境中运行程序，可以较充分地利用多处理器。

但是进程本身的隔离带来的数据不共享也是一个问题。而且线程比进程轻量级。

multiprocessing

Process类

Process 类遵循了hread 类的API, 减少了学习难度

先看一个例子,前面介绍了单线程,多线程比较的例子的多进程版本

版本一:使用最开始的函数执行四次

import  datetime
import time
import logging
fmstr = "%(asctime)s%(process)8s %(processName)s %(threadName)s %(thread)s %(message)s"
logging.basicConfig(level=logging.INFO,format=fmstr)
def calc(i = 0):
    sum = 0
    for i in range(100000000):
        sum+=1
    logging.info(sum)
    return i , sum
start = datetime.datetime.now()
calc()
calc()
calc()
calc()
delta = (datetime.datetime.now()-start).total_seconds()
print(delta)  # 44.172526

版本二:多线程的假并行,一刻时刻只有一个线程在执行,相当于几个线程串行执行

import  datetime
import time
import multiprocessing # 导入多进程
from  multiprocessing import  Event,Lock,Semaphore
import threading
import logging
fmstr = "%(asctime)s%(process)8s %(processName)s %(threadName)s %(thread)s %(message)s"
logging.basicConfig(level=logging.INFO,format=fmstr)
def calc(i = 0):
    sum = 0
    for i in range(100000000):
        sum+=1
    logging.info(sum)
    return i , sum
waits = []
start = datetime.datetime.now()
for i in range(4):
    t = threading.Thread(target=calc,name='calc-{}'.format(i))
    waits.append(t)
    t.start()
for wait in waits:
    wait.join()
delta = (datetime.datetime.now()-start).total_seconds()
print(delta) # 45.035576

版本三: 多进程,多个进程同时运行,但这种方法得不到计算返回值

import  datetime
import time
import multiprocessing # 导入多进程
from  multiprocessing import  Event,Lock,Semaphore
import threading
import logging
fmstr = "%(asctime)s%(process)8s %(processName)s %(threadName)s %(thread)s %(message)s"
logging.basicConfig(level=logging.INFO,format=fmst