浅浅的聊聊多层网页爬取————＞爬虫框架

一：怎么实现翻页呢？
在获取下一页的URL后，在parse() 方法中使用该URL构造Request对象，然后通过yield关键字将Request对象作为返回值返回。Request对象随后会被Ｓｃｒａｐｙ　Ｅｎｇｉｎｅ　获得并转发给Scheduler模块进行调度，由Downloader模块下载网页代码，最后再传递给parse（）方法完成更新页面的解析。
二：不同结构的网页爬取
详情页的URL可以从列表中获取，但是详情页与列表的页面结构不同，所要获取的数据不同，这时用来处理列表的parse（）方法并不能用来提取详情页面中的数据，因此，需要指定新的方法来处理详情页中的信息，实现方法很简单，就是在构造Request对象时添加callback参数以指定当前Request下载结果的处理方法，如果不设置Request就会交给parse（）方法来处理。