Scrapy框架实现图片爬取--基于管道操作

1. scrapy startproject imgPro(projectname) 使用scrapy创建一个项目
2. cd imgPro 进入到imgPro目录下
3. scrpy genspider spidername(imges) www.xxx.com 在spiders子目录中创建一个爬虫文件 对应的网站地址
4. scrapy crawl spiderName(imges)执行工程

imges页面

import scrapy
from ..items import ImgproItem


class ImgesSpider(scrapy.Spider):
    name = "imges"
    # allowed_domains = ["www.xxx.com"]
    # 要爬取的网站的地址
    start_urls = ["https://sc.chinaz.com/tupian/"] 

    def parse(self, response):
        div_list = response.xpath('/html/body/div[3