高并发(一)通俗易懂解释IO,CPU密集任务及GIL

高并发优化方法:
流量优化:防盗链处理
  前端优化:减少HTTP请求,合并css或js,添加异步请求,启用浏览器缓存和文件压缩,CDN加速,建立独立图片服务器,
  服务端优化:页面静态化,并发处理,队列处理
  数据库优化:数据库缓存,分库分表,分区操作,读写分离,负载均衡
  web服务器优化:负载均衡,nginx反向代理,7,4层LVS软件

服务端优化中的并发处理需要使用多线程
线程任务分两种:
1 计算(CPU)密集型
举例:计算圆周率、对视频进行高清解码等等
特点:占用cpu资源,线程切换无开销
公式: 线程数 = CPU核数+1

2 IO密集型
举例:开发大部分都是WEB应用,涉及到大量的网络传输,不仅如此,与数据库,与缓存间的交互也涉及到IO,一旦发生IO,线程就会处于等待状态,当IO结束,数据准备好后,线程才会继续执行。因此从这里可以发现,对于IO密集型的应用,我们可以多设置一些线程池中线程的数量,这样就能让在等待IO的这段时间内,线程可以去做其它事,提高并发处理效率。
特点:cpu消耗较少,线程切换有开销
公式:线程数 = CPU核心数/(1-阻塞系数)

这个阻塞系数一般为0.8~0.9之间,也可以取0.8或者0.9。套用公式,对于双核CPU来说,它比较理想的线程数就是20,当然这都不是绝对的,需要根据实际情况以及实际业务来调整。

Python的多线程在多核CPU上,只对于IO密集型计算产生正面效果;而当有至少有一个CPU密集型线程存在,那么多线程效率会由于GIL而大幅下降。

IO是指阻塞,比如:服务器的accept,python 中的input,或者端口占用
GIL是全局排它锁,如果多线程任务是IO密集型,就会直接释放GIL,解除阻塞,提高了性能,如果多线程任务是CPU密集型,因为一个进程只有一个GIL,多个线程共享这一个GIL,所以一个线程释放了GIL,另一个就会唤醒,而释放GIL的线程就会等待下一次被唤醒,导致效率不会提高,不过可以使用多进程解决。

总之:IO密集型使用多线程,CPU密集型使用多进程

参考文献
https://www.jianshu.com/p/756c505ab828 GIL简介
https://www.cnblogs.com/cn-sbo/p/10853469.html 高并发解决方案
https://blog.csdn.net/zwjyyy1203/article/details/81558182 CPU io-密集型 计算密集型

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值