1、爬虫基础框架

一、URL管理器：对 将要爬取的URL 和 已经爬取过的URL 这两个数字的管理 【我们可以从URL管理器中可以取出一个 待爬取的URL；然后将该URL传送给网页下载器】
URL管理器可以支持的功能：
（1）可以支持添加新的URL链接到待爬取URL的集合中【在添加的同时，要判断待添加的URL链接是否已经存在集合中】
（2）可以支持从管理器中提取出一个想要爬取的URL链接【顺便判断管理器中是否还有想要爬取的URL】，爬取完之后，将该URL链接从待爬取集合转移到已爬取集合

二、网页下载器：会 将URL指定的网页 以html形式下载到本地，并存储成一个字符串 或本地文件【这个字符串会传送给网页解析器进行解析】

1、python中有以下两种下载器：

2、urllib2网页下载器的下载网页方式有：将url链接传给urllib2模块中的urlopen方法：urllib2.urlopen(url)[这只是其中一种]

三、网页解析器：一方面会解析初 有价值的数据；另一方面每一个网页都有很多指向其他网页的URL【这些URL被解析后，可以补充进URL管理器】