2、爬虫基础架构运行流程

爬虫框架运行流程：
1、调度器询问URL管理器有没有待爬取的URL
2、URL管理器返回是或否
（1）如果返回的是‘是’，则调度器将请求从URL管理器中提取出一个待爬取的URL
（2）URL管理器将URL链接返回给调度器
3、得到了URL链接后，调度器将该URL链接传送给网页下载器
4、网页下载器针对固定的网页下载后，将下载内容返回给调度器
5、调度器将下载的内容再传给解析器解析
6、网页解析器解析后，将返回 价值数据和新的URL列表 给调度器
7、最后
（1）调度器会将价值数据传送给应用进行数据的收集
（2）将新的URL列表补充到URL管理器中
（3）将价值数据输出