python爬虫自动翻页_python+scrapy爬虫时如何自动翻页获取内容

自动翻页分为两种情况：此处所举例子有一定的时效性，请具体情况具体分析，方法类似

(1)一种是像我之前爬虫新京报网的新闻，下一页的url可以通过审查元素获得，第一页的网址是http://www.bjnews.com.cn/news/list-43-page-1.html

在第一页的时候，下一页按钮的审查元素是

我们通过获取next_pages = response.xpath('//div[@id="page"]/a[@class="next"]/@href').extract()[0]

,便可以得到下一页的url,next_page = "http://www.bjnews.com.cn" + next_pages,这一部分的完整代码为：

page_link=set() #保存下一页页面url

content_link=set() #保存页面内所有可获得的url

rules={'page':LinkExtractor(allow=(r'^http://www.bjnews.com.cn/\w+/2016/\d{2}/\d{2}/\d{6}.html

))}

start_urls={'http://www.bjnews.com.cn/news/list-43-page-1.html'}

def parse(self, response)