爬虫中scrapy.Request的更多参数

每日分享：

人的一生是短的，但如果无趣的过这一生，就太长了。

没有体会过别人的痛苦，就不要劝别人大度。

一、scrapy.Request的参数

scrapy.Request（url[，callback，method="GET"，headers，body，cookies，meta，dont_filter=Fallse]）

参数解释：

1. 中括号中的参数为可选参数，可写可不写
2. callback：表示当前的url响应交给哪个函数去处理（默认为parse函数）
3. meta：实现数据在不同解析函数中传递，meta默认带有部分数据，比如下载延迟、请求深度等（用于解析方法之间的数据传递，常用在一条数据分散在多个不同结构的页面中的情况）
4. dont_filter：默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为True，start_urls中的地址会被反复请求，否则程序不会启动
5. headers：接收一个字典，其中不包括cookies
6. cookies：接收一个字典，专门放置cookies
7. method：指定POST或GET请求
8. body：接收json字符串，为post的数据发送payload_post请求

二、meta参数

meta的作用：meta可以实现数据在不同的解析函数中的传递

在爬虫文件的parse方法中，增加一个函数parse_detail函数（用来解析另一个页面）：

def parse(self,response):
    ...
    yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})
...

def parse_detail(self,response):
    #获取之前传入的item
    item = resposne.meta["item"]

就相当于，把parse中解析的数据存到了meta字典中，对应的key为item；而在另一个函数（parse_detail）中，通过meta字典中的key：item来提取parse中的数据，从而实现不同页面数据的拼接

注意：

1. meta参数是一个字典
2. meta字典中有一个固定的键proxy，表示代理ip