python--线程池与进程池

简介

参考文档： https://python-parallel-programmning-cookbook.readthedocs.io/zh_CN/latest/chapter4/01_Introduction.html

为实现程序并发执行和资源共享，提高程序效率，需要进行多线程以及多进程开发。在具体介绍之前，需要了解GIL.

GIL是实现python解释器(CPython)时引入的一个概念，不是python特性。GIL是全局解释器锁，可以控制同一时刻只有一个线程能够运行，这样在跑多线程的情况下，只有当线程获取到全局解释器锁后才能运行，而全局解释器锁只有一个，因此即使在多核的情况下也只能发挥出单核的功能。另外在做IO操作时，GIL总是被释放。因此，IO密集型的python比计算密集型的程序更能利用多线程环境带来的便利。这对我们的程序究竟是选择多线程还是多进程大有帮助。

总而言之，使用进程池来执行CPU密集型的任务，这样可以利用到多核的好处；使用线程池来处理IO型任务，根据实际情况来调整池的大小（线程过多时，切换线程的开销将会严重影响性能）。

concurrent.futures模块

具有线程池和进程池、管理和并行编程任务。

由以下部分组成：

concurrent.futures.Executor: 这是一个虚拟基类，提供了异步执行的方法。

submit(function, argument): 调度函数（可调用的对象）的执行，将 argument 作为参数传入。

map(function, argument): 将 argument 作为参数执行函数，以 异步 的方式。

shutdown(Wait=True): 发出让执行者释放所有资源的信号。

concurrent.futures.Future: 其中包括函数的异步执行。Future对象是submit任务（即带有参数的functions）到executor的实例。

Executor是抽象类，可以通过子类访问，即线程或进程的 ExecutorPools 。因为，线程或进程的实例是依赖于资源的任务，所以最好以“池”的形式将他们组织在一起，作为可以重用的launcher或executor。

两种Executor子类

concurrent.futures.ThreadPoolExecutor(max_workers)

concurrent.futures.ProcessPoolExecutor(max_workers) 

#max_workers表示最多有个worker并行执行

实现

基本使用

# 线程池执行
start_time_1 = time.time()
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
        futures = executor.submit(func, argument)

# 进程池
start_time_2 = time.time()
with concurrent.futures.ProcessPoolExecutor(max_workers=5) as executor:
        futures = executor.submit(func, argument) 
      

ProcessPoolExecutor使用一个线程池来并行执行任务，但是和ThreadPoolExecutor 不同的是ProcessPoolExecutor使用多核处理的模块，不受GIL限制，可以大大缩短执行时间

注意事项

若是要将多行pandas DataFrame用于并行的话，需要注意

import concurrent.futures
import pandas as pd
def foo(item1,item2):
    return 'true'

with concurrent.futures.ProcessPoolExecutor(16) as pool:
    df = pd.read_csv("filepath", sep='\t', header=None)
    df['status'] = list(pool.map(foo, df['col1'], df['col2'], chunksize=1_000))

pool.map()第一个参数是函数，第二个参数是迭代器，会将迭代器的数据作为参数依次传入函数中，从而使数据可以并行操作，而不可以将DataFrame作为一个整体作为要并行执行的函数参数

chunksize=1_000可以使每个process每次运行1000行