python:利用scrapy爬取图片

python:利用scrapy爬取图片，爬取的图片为福利图片，程序都带有详细注释，就不再过多码字

1.创建工程

scrapy startproject beautifulgirl

2.在spiders文件里创建属于属于自己的spider文件

3.设置item

import scrapy
#图片下载管道

class BeautifulgirlItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    image_name=scrapy.Field()
    image_urls=scrapy.Field()
    images=scrapy.Field()
    referer=scrapy.Field()
    pass

先去网页踩点
找到图片所在的类

4.编写Spiders

import scrapy
from beautifulgirl.items import BeautifulgirlItem

class ImgspiderSpider(scrapy.Spider):
    name='girl'                                           #名字唯一,用于爬取
    allowed_domains=['www.mm131.net']                     #设置过滤爬取的域名，插件OffsiteMiddleware启用的情况下（默认是启用的），不在此允许范围内的域名就会被过滤，而不会进行爬取
    start_urls=['https://www.mm131.net/xinggan/',         #爬取的链接，这里将首页一行的标题链接都放进去了
                'https://www.mm131.net/qingchun/',
                'https://www.mm131.net/xiaohua/',
                'https://www.mm131.net/chemo/',
                'https://www.mm131.net/qipao/',
                'https://www.mm131.net/mingxing/'
        ]
    def parse(self,response)