scrapy 使用ImagesPipeline 实现图片的存储

最新推荐文章于 2023-06-27 10:43:33 发布

小墨蛇

最新推荐文章于 2023-06-27 10:43:33 发布

阅读量92

点赞数

分类专栏： pythonSet 文章标签： scrapy python 开发语言

本文链接：https://blog.csdn.net/weiyi47/article/details/130783929

版权

本文详细介绍了如何在Scrapy项目中利用Items和ImagesPipeline进行图片抓取及存储。首先，通过items.py定义数据结构，接着配置pipelines.py以启用图片处理功能。然后，在settings.py中设置IMAGES_STORE参数，指定图片存储路径。最后，开启ITEM_PIPELINES设置，确保ImagesPipeline在项目运行中生效。

摘要由CSDN通过智能技术生成

第一items和搭配pipelines
items.py创建

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class Pic4KItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    src = scrapy.Field(