scrapy框架—spiders—获取下一页url

scrapy.Request(…) 构造请求

yield 可以yield四种类型的数据 ： None值；dict ；request对象 …
yield scrapy.Request(…) 构造了一个请求 这个请求把 next_url 地址发给引擎 引擎再给调度器…

• 如果下一页的处理方式和当前页一样 就可以直接 callback=self.parse
• 如果下一页的处理方式和当前页不一样 就需要重新定义一个方法 比如 def parse1()

• 这里如果用到 cookies 的话 cookie不能像普通爬虫一样直接放在headers里

callback 回调函数

你到一个商店买东西，刚好你要的东西没有货，于是你在店员那里留下了你的电话，过了几天店里有货了，店员就打了你的电话，然后你接到电话后就到店里去取了货。在这个例子里，你的电话号码就叫回调函数，你把电话留给店员就叫登记回调函数，店里后来有货了叫做触发了回调关联的事件，店员给你打电话叫做调用回调函数，你到店里去取货叫做响应回调事件。完毕。