1、首先需要一个爬虫客户端来启动爬虫或者监视爬虫的运行情况 2、URL管理器对将要爬取的URL和已爬取的URL进行管理,对URL管理的目的是为了避免重复爬取和循环爬取;从URL管理器中可以取出一个待爬取的URL传送给网页下载器, 网页下载器会将网页下 载下来存储成一个字符串,这个字符串会传送给网页解析器进行解析;一方面会解析出有价值的数据,