scrapy爬虫中(Requests+FormRequest)两大请求

Requests

• scrapy.Request(url [,callback,method=‘GET’,headers,body,cookies,meta,dont_filter=False])

• scrapy.Request常用参数为:
  callback:指定传入的url交给哪个解析函数去处理
  meta:实现在不同的解析函数中传递参数,meta默认会携带部分信息，比如下载延迟，请求深度，通过meta = {‘name’:‘123’},通过字典传输
  dont_filter:让scrapy的去重不会过滤当前url,scrapy默认有url去重功能

FormRequest

• scrapy.FormRequest(url formdata=dict(name=‘leadingme’, pw=‘123’) [,callback,method=‘GET’,headers,body,cookies,meta,dont_filter=False])

• scrapy.FormRequest常用参数为:
  headers可以在爬虫中的请求中定义，也可以全局settings中定义