scrapy框架之request

 request是一个类似于http请求的类，对于爬虫而言是一个很重要的类。请求一般是在Spider中创建，在Downloader中执行这样一个请求。同时，在scrapy框架中，还有一个类也可以发送请求，该类是FormRequest ，用于post提交

request类的属性和方法

url，method，headers，body，meta，copy（），replace（）

Request参数说明

url（请求的url）    callback（回调函数，用于接收请求后返回的信息，如果没有指定，则默认为parse（）函数）

method（http的请求方式，默认为GET请求，一般不需要指定，如果为post请求，用FormRequest）headers（请求头信息）

body （str类型，请求体，一般不需要设置）

cookies （dict或者list类型。。字典形式{“name1”：“value1”，“name2”：“value2”}，list类型[{"name1":"value1"},{"name2":"value2"}]）

encoding （默认编码方式，一般为utf-8）

priority （int类型，指定优先级，可以为负数，默认为0）

dont_filter （默认为False，若设置为True，此次请求不会过滤，不会加入到去重队列，可以执行多次相同的请求。）

meta 传递参数

..................

FormRequest

该类为Request的子类，用于post提交，新增一个参数为formdata，其他参数和父类一样

用法

yield scrapy.FormRequest(

      url,

      formdata=formdata

     callback=self.***

)