Scrapy将item传递给meta参数之后，打印得到的item始终是最后的一个值

最新推荐文章于 2024-10-01 18:51:18 发布

ashengz

最新推荐文章于 2024-10-01 18:51:18 发布

阅读量86

点赞数

文章标签： scrapy java 前端

本文链接：https://blog.csdn.net/ashengz/article/details/134182949

版权

原因：深浅拷贝的问题

解决：不要直接传递item，将复制之后的item传递给meta即可


# 问题代码
class XiaoshuoSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["www.example.com"]
    start_urls = ["www.example.com"]
   

    def parse(self, response):
    ...
        url = ...
        yield scrapy.Request(url=url,
                             callback=self.detail_parse,
                             meta={'item':item})

# 修改后
import copy

class XiaoshuoSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["www.example.com"]
    start_urls = ["www.example.com"]

    def parse(self, response):
        ...
        url = ...
        yield scrapy.Request(url=url,
                             callback=self.detail_parse,
                             meta={'item':copy.deepcopy(item)})