scrapy.Request(…) 构造请求
yield 可以yield四种类型的数据 : None值;dict ;request对象 …
yield scrapy.Request(…) 构造了一个请求 这个请求把 next_url 地址发给引擎 引擎再给调度器…
- 如果下一页的处理方式和当前页一样 就可以直接
callback=self.parse
- 如果下一页的处理方式和当前页不一样 就需要重新定义一个方法 比如
def parse1()
- 这里如果用到 cookies 的话 cookie不能像普通爬虫一样直接放在headers里
callback 回调函数
你到一个商店买东西,刚好你要的东西没有货,于是你在店员那里留下了你的电话,过了几天店里有货了,店员就打了你的电话,然后你接到电话后就到店里去取了货。在这个例子里,你的电话号码就叫回调函数,你把电话留给店员就叫登记回调函数,店里后来有货了叫做触发了回调关联的事件,店员给你打电话叫做调用回调函数,你到店里去取货叫做响应回调事件。完毕。