scrapy如何实现翻页请求
scrapy框架爬虫感觉最关键的就是实现翻页请求了。我们在使用requests模块的时候,想要实现翻页,就需要找到下一页的url地址,然后再次使用**requests.get()请求就可以了。那么在scrapy中,实现翻页操作,肯定首先需要找到下一页的url地址,然后构造一个关于下一页url地址的request请求传递给调度器,这里主要使用scrapy.Request()**方法发送请求,我们来看一下具体的参数:
scrapy.Request(url ,
callback,
method='GET',
headers,
body,
cookies,
meta,
dont_filter=False</