高并发优化方法:
流量优化:防盗链处理
前端优化:减少HTTP请求,合并css或js,添加异步请求,启用浏览器缓存和文件压缩,CDN加速,建立独立图片服务器,
服务端优化:页面静态化,并发处理,队列处理
数据库优化:数据库缓存,分库分表,分区操作,读写分离,负载均衡
web服务器优化:负载均衡,nginx反向代理,7,4层LVS软件
服务端优化中的并发处理需要使用多线程
线程任务分两种:
1 计算(CPU)密集型
举例:计算圆周率、对视频进行高清解码等等
特点:占用cpu资源,线程切换无开销
公式: 线程数 = CPU核数+1
2 IO密集型
举例:开发大部分都是WEB应用,涉及到大量的网络传输,不仅如此,与数据库,与缓存间的交互也涉及到IO,一旦发生IO,线程就会处于等待状态,当IO结束,数据准备好后,线程才会继续执行。因此从这里可以发现,对于IO密集型的应用,我们可以多设置一些线程池中线程的数量,这样就能让在等待IO的这段时间内,线程可以去做其它事,提高并发处理效率。
特点:cpu消耗较少,线程切换有开销
公式:线程数 = CPU核心数/(1-阻塞系数)
这个阻塞系数一般为0.8~0.9之间,也可以取0.8或者0.9。套用公式,对于双核CPU来说,它比较理想的线程数就是20,当然这都不是绝对的,需要根据实际情况以及实际业务来调整。
Python的多线程在多核CPU上,只对于IO密集型计算产生正面效果;而当有至少有一个CPU密集型线程存在,那么多线程效率会由于GIL而大幅下降。
IO是指阻塞,比如:服务器的accept,python 中的input,或者端口占用
GIL是全局排它锁,如果多线程任务是IO密集型,就会直接释放GIL,解除阻塞,提高了性能,如果多线程任务是CPU密集型,因为一个进程只有一个GIL,多个线程共享这一个GIL,所以一个线程释放了GIL,另一个就会唤醒,而释放GIL的线程就会等待下一次被唤醒,导致效率不会提高,不过可以使用多进程解决。
总之:IO密集型使用多线程,CPU密集型使用多进程
参考文献
https://www.jianshu.com/p/756c505ab828 GIL简介
https://www.cnblogs.com/cn-sbo/p/10853469.html 高并发解决方案
https://blog.csdn.net/zwjyyy1203/article/details/81558182 CPU io-密集型 计算密集型