【Python 学习笔记】多进程爬虫

0x00 前言

前段时间学习了多线程，但在实际的情况中对于多线程的速度实在不满意，所以今天就来学学多进程分布式爬虫，在这里感谢莫烦的Python教程。

0x01 什么是多进程爬虫

在讲述多进程之前，先来回顾一下之前学习的多线程。

对于多线程可以简单的理解成运输快递的货车，虽然在整个运输快递的途中有很多货车参与运输，但快递到你手中的时间并不会因为货车的数量增加而变化多少，甚至可能会因为参与运输的货车数量过多，导致送货时间变慢，因为货物在不断的上货卸货。
当然现实中可不会有人这么干，然而在计算机的世界里，有时却会犯这种错误，这也就是说多线程并不是越多越好。

如果有操作系统的基础，则对于线程与进程的理解会更深刻些，这里继续参照上面的例子，对于线程可以简单的理解成一个线程就是一个货车，而一个进程则是一整条快递运输线路上的货车集合，也就是说一个进程包含了多个线程。

如果在只有一个快递需要运输的时候，使用线程与进程的区别或许不大，但是如果有十件快递、百件快递，使用多进程无疑能够极大的提高效率。

0x02 准备工作

在开始学习多进程之前，先来理一下爬虫思路，这里拿爬取我的博客文章举例，首先先用 requests 访问 temassix.com，之后利用 BeautifulSoup 解析出我博客中的文章链接，接着再利用 requests 访问文章，便完成了一个简单的爬虫。

接下来需要用到的模块：

    import time