python多线程、多进程进阶

资料链接

b站：https://www.bilibili.com/video/BV1bK411A7tV/?spm_id_from=333.788.recommend_more_video.1

我的笔记

python并发编程简介

单线程串行：cpu运算和io操作接替执行，io的时候cpu就不能工作，cpu是有空闲时间的。
多线程并发：也是一个cpu，但是没有前后关系的io和cpu操作可以捉对并行了，提升了效率，io的时候不占用cpu的运行时间了。
多cpu并行：是多个cpu的场景，真正的多个cpu在并行执行，多个io在并行。
多机器并行：大数据时代的产物，是多个机器，每个机器上多个cpu并行。

怎样选择多线程、多进程、多协程

python速度慢的罪魁祸首GIL

暗示了对于java和c++来说，多线程意味着多核心同时执行。

多线程并不是真的多线程，io密集型是ok的，cpu密集型就得多进程了。

使用多线程，python爬虫加速10倍

python实现生产者消费者爬虫

demo代码：

python线程安全问题以及解决方案

以取钱场景为例：定义一个全局的lock，然后锁住并发部分的代码。

Python的线程池

代码案例：


推荐使用：submit和as_completed 的组合方法。

线程池在web服务中实现加速

demo演示：flask

模拟：

线程池改造：

时间对比测试：----------->并发加速了访问的接口

多进程加速程序的运行

api几乎是一致的。

三种计算的测试：

测试结果：

flask使用多进程

多进程的注意事项：用的对象，方法，必须都已经声明完了。必须在main函数里面。

异步io实现并发

loop的里面简单理解就是while-true。
注意关键字成对：async和await

信号量控制爬虫并发

改造过程：