python多线程提升IO类型任务效率(多线程高级接口)

本文探讨如何通过多线程提升Python中IO密集型任务的效率,介绍了线程数量的估算公式,包括基于线程等待时间和CPU运行时间的公式以及一个更为通用的估算方式。并提供了4核CPU环境下线程数量设置为40个的实例。
摘要由CSDN通过智能技术生成
1. 线程数量

一般公式:
线程数量=(线程等待时间+cpu运行时间)/cpu运行时间*cpu核数
但是这个线程等待时间和cpu运行时间不好计算,至少我目前还没想到方法取统计这个时间。
然后还有一个更一般的公式
线程数量=cpu核数/(1-0.9)
比如4核,一般就设置40个线程

2. python代码
from multiprocessing import cpu_count
from concurrent.futures import ThreadPoolExecutor, as_completed


def func_thread(i):
    # 这里面是具体的处理io类型任务的逻辑
    print
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值