2024年用爬虫来学习 Python 并发编程_python爬虫并发编程，2024年最新腾讯开发面试题-CSDN博客

本文链接：https://blog.csdn.net/m0_61331491/article/details/138710099

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

更多Python视频、源码、资料加群984632579免费获取

我们写来个简单的爬虫：

使用 requests 和 BeautifulSoup 第三方库对豆瓣top250的电影名称进行的获取，非常简单，相信老司机的你们不需要我过多的解释。

然后我们统计一下耗时：2.0312600135803223

然后我们来思考，现在各种大牛口中的多线程，多进程和协程，我们在开发中是如何实现的。

多线程

虽然不过多的说明原理，但是我相信你们心中还是好奇的，那我就引用一段维基百科的说明：

线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。在Unix System V及SunOS中也被称为轻量进程，但轻量进程更多指内核线程，而把用户线程称为线程 ——维基百科

其实线程很简单，我们写了一些代码，肯定想要执行看看结果吧？操作系统执行你的代码，执行的单位就是线程。

了解了线程，我们来看一下多线程的例子：

我们看一下耗时：1.9976181983947754

这时同学一看，mmp 没快到哪去，你个骗子！稍安勿躁，这个锅老师肯定是不背的，其实这都怪万恶的 GIL。那么问题来了，什么是 GIL 呢？

GIL

GIL的全称是Global Interpreter Lock(全局解释器锁)，来源是python设计之初的考虑，为了数据安全所做设计。

尽管Python完全支持多线程编程，但是解释器的C语言实现部分在完全并行执行时并不是线程安全的。实际上，解释器被一个全局解释器锁保护着，它确保任何时候都只有一个Python线程执行。 GIL最大的问题就是Python的多线程程序并不能利用多核CPU的优势（比如一个使用了多个线程的计算密集型程序只会在一个单CPU上面运行）。

在讨论普通的GIL之前，有一点要强调的是GIL只会影响到那些严重依赖CPU的程序（比如计算型的）。如果你的程序大部分只会涉及到I/O，比如网络交互，那么使用多线程就很合适，因为它们大部分时间都在等待。实际上，你完全可以放心的创建几千个Python线程，现代操作系统运行这么多线程没有任何压力，没啥可担心的。

引用 cookbook 里面的这段话，我相信已经完全解释清楚了问题，那我们就没有办法了么？

协程

这时候，协程就进入到了我们的视角了，协程叫轻量级线程也叫绿色线程，其实协程也是线程，只不过协程可以在用户态自由切换任务，提高了执行效率。对于 Python 很早就支持了协程，python3 还新增了 async/await 这个关键字，内置了对异步 IO 的支持。第三方库 aiohttp 是基于 asyncio 开发的异步 HTTP Client 非常的好用，我们就使用它，来进行协程的开发。