- 爬虫调度端:用于启动爬虫,监视爬虫或者记录爬虫的运行情况。
- URL 管理器:管理已经爬取过的URL 和将要爬取的URL
- 网页下载器:从URL 管理器中取出一个将要爬取的URL,传递给网页下载器。网页下载器会将URL指向的网页下载下来,存储成一个字符串,这个字符串传递给网页解析器进行解析,一方面会解析出有价值的数据,另一方面,每个网页都含有一些指向其他网页的URL,这些URL被解析出来之后可以被补充进URL管理器。
- URL 管理器,网页下载器,网页解析器形成了一个循环,只要有相关的URL,就会一直运行下去。
- 根据基本架构就可以将互联网上的内容都爬取下来。
第三章 简单的爬虫架构
最新推荐文章于 2022-05-18 16:25:18 发布