Python：多进程multiprocessing，多进程和多线程的应用

目录

多进程

multiprocessing

Process类

进程间同步

进程池举例

多进程、多线程的线程

多线程、多进程应用

---

多进程

由于Python的GIL，多线程未必是CPU密集型程序的好的选择
多进程可以完全独立的进程环境中运行程序，可以充分地利用多处理器
但是进程本身的隔离代理的数据不共享也是一个问题，而且线程比进程轻量级

multiprocessing

Process类

Process类遵循了Thread类的API，减少了学习难度；
先看一个例子，前面介绍的单线程、多线程比较的例子的多进程版本

import multiprocessing
import datetime

def cacl(i):
    sum = 0
    for _ in range(100000000):
        sum +=1
    print(i,sum)

if __name__ == '__main__':
    start = datetime.datetime.now()

    ps = []
    for i in range(5):
        p = multiprocessing.Process(target=cacl,args=(i,),name="cacl-{}".format(i))
        ps.append(p)
        p.start()
    for p in ps:
        p.join()
    delta = (datetime.datetime.now()-start).total_seconds()
    print(delta)

结果：
2 100000000
1 100000000
4 100000000
3 100000000
0 100000000
5.942173

单线程、多线程都跑了4分钟多，而多进程用了1分半，这是真并行

名称	说明
pid	进程id
exitcode	进程退出状态码，0代表退出，非0代表有问题
terminate()	终止指定的进程

进程间同步

进程间同步提供了和线程一样的类，使用的方法一样，使用的效果也类似
不过，进程间代价要高于线程间，而且底层实现是不同的，只不过Python屏蔽了这些不同之处，让用户简单使用多进程

multiprocessing还提供共享内容，服务器进程来共享数据，还提供了Queue队列、Pipe管道用户进程间通信。

通信方式不同：

• 多进程就是启动多个解释器进程，进程间通信必须序列化、反序列化
• 数据的线程安全性问题：由于每个进程中没有实现多线程，GIL可以说没什么用了

进程池举例

multiprocessing.Pool是进程池类。
 

名称	说明
apply(self，func，args=()，kwds={} )	阻塞执行，导致主进程执行其他子进程就像一个个执行
apply_async(self，func，args=()，kwds={}，callback=None，error_callback=None)	与apply方法用法一致，非阻塞执行，得到结果后执行回调
close()	关闭池，池不能接受新的任务
terminate()	结束工作线程，不在处理未处理的任务
join()	在close或terminate之后使用

import logging
import datetime
import multiprocessing

#日志打印进程ID、进程名、线程id、线程名
logging.basicConfig(level=logging.INFO,format='%(process)d %(processName)s %(thread)d %(message)s')

#计算
def calc(i):
    sum = 0
    for _ in  range(100000000):
        sum +=1
    logging.info("{} .in funcating".format(sum))
    return sum #进程要return,callback可以拿到这个效果

if __name__ == '__main__':
    start=datetime.datetime.now()
    pool = multiprocessing.Pool(5)

    for i in range(5):
        #回调函数必须接受一个参数
        pool.apply_async(calc,args=(i,),callback=lambda x:logging.info("{}.incallback".format(x))) #异步执行
    pool.close()
    pool.join()
    delta=(datetime.datetime.now()-start).total_seconds()
    print(delta)
    print("主进程结束")

结果：
23900 SpawnPoolWorker-1 2800 100000000 .in funcating
16320 MainProcess 24952 100000000.incallback
19572 SpawnPoolWorker-5 17160 100000000 .in funcating
16320 MainProcess 24952 100000000.incallback
7272 SpawnPoolWorker-3 19112 100000000 .in funcating
16320 MainProcess 24952 100000000.incallback
3104 SpawnPoolWorker-4 7044 100000000 .in funcating
16320 MainProcess 24952 100000000.incallback
12684 SpawnPoolWorker-2 24104 100000000 .in funcating
16320 MainProcess 24952 100000000.incallback
6.163994
主进程结束

多进程、多线程的线程

1、CPU密集型
CPython中使用到了GIL，多线程的时候相互竞争 ，且多核优势不能发挥，Python多进程效率更高

2、IO密集型
适合适用多线程，可以减少多进程间IO的序列化开销。且在IO等待的时候，切换到其他线程继续执行，效率不错

多线程、多进程应用

请求/应答模型：WEB应用总常见的处理模型

master启动多个woker工作进程，一般和CPU数目相同，发挥多核优势
worker工作进程中，往往需要操作网络IO和磁盘IO，启动多线程，提高并发处理能力。worker处理用户的请求，往往需要的等待数据，处理完请求还要通过网络IO返回响应，这就是nginx工作模式