1.并发编程-进程_进程池不能超过cpu-CSDN博客

本文链接：https://blog.csdn.net/weixin_37306719/article/details/130521236

一、概念

线程，是计算机中可以被cpu调度的最小单元; 进程，是计算机资源分配的最小单元。一个进程中可以有多个线程,同一个进程中的线程可以共享此进程中的资源。

进程和线程在使用上各有优缺点：线程执行开销小，但不利于资源的管理和保护，而进程正相反。

二、使用场景

计算操作需要使用CPU多核优势，IO操作不需要利用CPU的多核优势

计算密集型，用多进程

多进程使用例子，大量的数据计算,如计算从0+1+2+....+100000000

import time
import multiprocessing


def task(start, end, queue):
    result = 0
    for i in range(start, end):
        result += i
    queue.put(result)


if __name__ == '__main__':
    queue = multiprocessing.Queue()

    start_time = time.time()

    p1 = multiprocessing.Process(target=task, args=(0, 50000000, queue))
    p1.start()

    p2 = multiprocessing.Process(target=task, args=(50000000, 100000000, queue))
    p2.start()

    v1 = queue.get(block=True)  # 阻塞
    v2 = queue.get(block=True)  # 阻塞
    print(v1 + v2)

    end_time = time.time()

    print("耗时:", end_time - start_time)

三、GIL锁

GIL 不是 Python 的特点，而是 CPython 解释器的特点；GIL 锁是加在 CPython 解释器上的，是保证解释器级别的数据的安全；GIL 锁会导致同一个进程下多个线程的不能同时执行

如果程序想利用计算机的多核优势，让CPU同时处理一些任务，适合用多进程开发（即使资源开销大）。

如果程序不利用计算机的多核优势，适合用多线程开发。

四、进程池

进程个数创建的并发是越多越好，要想充分的利用CPU多核优势，进程个数最好是不要超过cpu核数。

查看系统CPU核数,进程最大个数最好不要超过(CPU核数-1),因为主线程会占一个cpu

import multiprocessing

cpu_count = multiprocessing.cpu_count()
print(cpu_count)

import multiprocessing
from concurrent.futures import ProcessPoolExecutor
import time

cpu_count = multiprocessing.cpu_count()
max_count = cpu_count - 1
print(max_count)


def task(i):
    time.sleep(1)
    print('进程池最大个数为CPU核数-1', i)


if __name__ == '__main__':
    pool = ProcessPoolExecutor(max_count)
    for i in range(max_count):
        pool.submit(task, i)
    print('主线程占用一个cpu')