python:利用scrapy爬取图片

最新推荐文章于 2024-09-12 18:31:52 发布

鲸鱼不是金鱼

最新推荐文章于 2024-09-12 18:31:52 发布

阅读量1.7k

点赞数 5

分类专栏：爬虫文章标签： python 爬虫 scrapy

本文链接：https://blog.csdn.net/weixin_44903844/article/details/103206556

版权

本文介绍如何用Python的Scrapy框架爬取并下载图片，包括创建工程、定义Spider、设置Item、编写Pipeline和调整Settings，最终实现图片的分组下载。爬取的图片已做马赛克处理。

摘要由CSDN通过智能技术生成

python:利用scrapy爬取图片，爬取的图片为福利图片，程序都带有详细注释，就不再过多码字

1.创建工程

scrapy startproject beautifulgirl

2.在spiders文件里创建属于属于自己的spider文件

在这里插入图片描述

3.设置item

import scrapy
#图片下载管道

class BeautifulgirlItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_name=scrapy.Field()
    image_urls=scrapy.Field()
    images=scrapy.Field()
    referer=scrapy.Field()
    pass

先去网页踩点
找到图片所在的类

在这里插入图片描述

4.编写Spiders

import scrapy
from beautifulgirl.items import BeautifulgirlItem

class ImgspiderSpider(scrapy.Spider):
    name='girl'                                           #名字唯一,用于爬取
    allowed_domains=['www.mm131.net']                     #设置过滤爬取的域名，插件OffsiteMiddleware启用的情况下（默认是启用的），不在此允许范围内的域名就会被过滤，而不会进行爬取
    start_urls=['https://www.mm131.net/xinggan/',         #爬取的链接，这里将首页一行的标题链接都放进去了
                'https://www.mm131.net/qingchun/',
                'https://www.mm131.net/xiaohua/',
                'https://www.mm131.net/chemo/',
                'https://www.mm131.net/qipao/',
                'https://www.mm131.net/mingxing/'
        ]
    def parse(self,response):                             #编写回调函数
        l