大多数编程语言都会有多线程和多进程的概念,至于线程和进程的概念,大家可以百度一下。
作为一门胶水语言,Python毫不意外,也可以利用多线程和多进程处理并发问题,但是多线程由于GIL的存在,起作用范围大打折扣,仅限于在IO等场景可以发挥点作用。
所以,今天要跟大家分享的是Python多进程方案,更好地利用系统多核,从而提升性能。
基础方案一:
利用Process新建一个子进程,在子进程执行任务。我们
写一个循环,模拟耗时任务的执行。主进程不会等待子进程执行完,就会继续往下执行。我们可以根据实际业务情况,开启很多这样的进程。
# encoding=utf-8
from datetime import datetime
import time
from multiprocessing import Pool, Process
def job1():
def run():
print('[Child][{}]'.format(datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')))
# 模拟一个耗时任务
counter = 0
while counter < 5:
run()
time.sleep(2)
counter += 1
#
print('sub process done')
if __name__ == '__main__':
p = Process(target=job1)
p.start()
#
print('main process done')
执行效果如下
方案二:进程池
进程池可以理解成一个队列,该队列可以容易指定数量的子进程,当队列被任务占满之后,后续新增的任务就得排队,直到旧的进程有任务执行完空余出来,才会去执行新的任务。
# encoding=utf-8
from datetime import datetime
import time
import random
from multiprocessing import Pool, Process
def job2(msg):
def run():
print('[Child-{}][{}]'.format(msg, datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')))
# 模拟一个耗时任务
time.sleep(random.randint(1, 3))
run()
if __name__ == '__main__':
# 进程池大小
pool_size = 2
# 进程池
pool = Pool(pool_size)
# 添加任务, 假设我们要添加6个任务,由于进程池大小为2,每次能只有2个任务并行执行,其他任务排队
[pool.apply_async(job2, args=(i,)) for i in range(6)]
pool.close()
pool.join()
#
print('main process done')
执行结果如下:
方案三:ProcessPoolExecutor
ProcessPoolExecutor是concurrent.futures里面的一个多进程解决方案,对多进程进行了一些便利的封装,用起来跟Java的ThreadPoolExecutor感觉很类似。
同样,方案二的示例,我们用ProcessPoolExecutor重新实现一次。
# encoding=utf-8
from datetime import datetime
import time
import random
from concurrent.futures import ProcessPoolExecutor, wait
def job3(msg):
def run():
print('[Child-{}][{}]'.format(msg, datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')))
# 模拟一个耗时任务
time.sleep(random.randint(1, 5))
run()
if __name__ == '__main__':
# 进程池大小
pool_size = 2
# 进程池
pool = ProcessPoolExecutor(pool_size)
# 添加任务, 假设我们要添加6个任务,由于进程池大小为2,每次能只有2个任务并行执行,其他任务排队
tasks = [pool.submit(job3, i) for i in range(6)]
### 等待任务执行完, 也可以设置一个timeout时间
wait(tasks)
#
print('main process done')
结语
以上简单介绍了多进程,进程池的几种用法。当然示例的几种场景都不涉及到多进程并发变量共享的问题,这个后续会推出其他文章单独讲述。
https://www.cnblogs.com/henrytee/archive/2020/08/18/13526612.html