十三、scrapy的Item.py

在items.py文件中,scrapy.Item是一个BaseItem,为parse函数中能够yield的对象之一。

```

  class MyspiderItem(scrapy.Item):  # scrapy.Item是一个字典

    name = scrapy.Field()  # scrapy.Field()是一个字典

    pass  

```

通过scrapy.Field()来定义一个字典属性,即从整体上来说,MyspiderItem就是一个可以复用的字典。

scrapy.Item的作用:

(1)在获取到数据的时候,可以使用不同的Item来存放不同的数据

(2)在把数据交给pipeline的时候,可以通过isinstance(item,MyspiderItem)来判断数据是属于哪个item,进行不同的数据(item)处理

Item的使用

  在items文件中:

    ```

    class MyspiderItem(scrapy.Item):

      # 定义要获取的字段

      name = scrapy.Field()

      title = scrapy.Field()

      ...

    ```

  在Spider中:

    ```

    from projectname.items import MyspiderItem

    item = MyspiderItem()  # 实例化一个自定义的item

    item["name"] = "hello world"  # item的操作和字典一样

    ```

Scrapy框架中,`middlewares.py` 文件通常用于定义全局的请求处理逻辑,包括但不限于错误处理、数据验证、重试机制等。如果你想要在 `process_request` 方法中获取 `items` 中的 `src` 图片链接并下载保存至本地,首先你需要在 `Item` 类中定义 `src` 字段,例如: ```python # items.py import scrapy class QsbkItem(scrapy.Item): src = scrapy.Field() # 其他字段... ``` 然后,在中间件中实现这个功能,你可以这样做: ```python # middlewares.py from scrapy.http import Request from yourproject.items import QsbkItem class CustomDownloaderMiddleware: def process_request(self, request, spider): # 获取items中的src链接 item = spider.parse_item(request) if isinstance(item, QsbkItem) and 'src' in item: img_url = item['src'] # 下载图片并保存 image_path = download_image(img_url) # 更新item以保存图片路径 item['image_path'] = image_path # 发送新的Request,包含下载后的图片路径 request.meta['img_path'] = image_path yield Request(url=image_path, callback=self.follow_image_link, meta={'item': item}) def follow_image_link(self, response): item = response.meta['item'] # 对于每个响应,执行后续操作,如写入数据库或文件系统 # ... ``` 在这个例子中,`CustomDownloaderMiddleware` 中间件会检查每个请求的上下文(`meta`)中是否有对应的 `QsbkItem`,如果有并且包含 `src` 字段,它就会下载图片并将图片路径附加到请求上,以便后续的处理。 注意,这只是一个基本示例,实际的实现可能需要根据项目需求和库的具体使用来调整。记得在运行时启用这个中间件,并确保你已经定义了下载图像的 `download_image()` 函数。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值