第三章 简单的爬虫架构

3.1 简单的爬虫架构

• 爬虫调度端：用于启动爬虫，监视爬虫或者记录爬虫的运行情况。
• URL 管理器：管理已经爬取过的URL 和将要爬取的URL
• 网页下载器：从URL 管理器中取出一个将要爬取的URL，传递给网页下载器。网页下载器会将URL指向的网页下载下来，存储成一个字符串，这个字符串传递给网页解析器进行解析，一方面会解析出有价值的数据，另一方面，每个网页都含有一些指向其他网页的URL，这些URL被解析出来之后可以被补充进URL管理器。
• URL 管理器，网页下载器，网页解析器形成了一个循环，只要有相关的URL，就会一直运行下去。
• 根据基本架构就可以将互联网上的内容都爬取下来。

3.2 简单的爬虫架构的动态运行流程