python多进程和多线程对于计算密集型任务的耗时对比

python中，time.sleep()属于计算密集型任务

使用多进程可明显提升效率
多线程适用于IO密集型任务，对于科学计算类任务，多线程非但不能提升效率，还有可能因为线程间切换调度而增加时间的消耗 

import multiprocessing
import time
from queue import Queue
from threading import Thread

qurl = Queue()


def func(msg):
    print("msg:", msg)
    time.sleep(3)
    print("end")


def make_data():
    for i in range(10):
        qurl.put(i)
    print('------ qurl.qsize() = ', qurl.qsize())


def custom_process():
    pool = multiprocessing.Pool(processes=10)
    while not qurl.empty():
        data = qurl.get()
        print('--- data = ', data)
        pool.apply_async(func, (data,))  # 维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去
    pool.close()
    pool.join()  # 调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束


def custom_thread():
    while not qurl.empty():
        data = qurl.get()
        print('--- data = ', data)
        multi_thread_work(func, data)


# 多线程
def multi_thread_work(func, data):
    ths = []
    for i in range(10):
        th = Thread(target=func, args=(data, ))
        th.start()
        ths.append(th)
    for th in ths:
        th.join()


if __name__ == "__main__":
    start_time = time.time()
    make_data()
    print('make_data_end')
    # custom_process()   # 3秒结束战斗 time.sleep()属于计算密集型任务，使用多进程可明显提升效率
    custom_thread()  # 30秒才结束战斗，多线程适用于IO密集型任务，对于科学计算类任务，多线程非但不能提升效率，还有可能因为线程间切换调度而增加时间的消耗
    print('all task consum time = ', time.time() - start_time)