使用Scrapy爬取图片

分析网址

网址地址：美食杰-川菜.
我们需要爬取网站上的菜谱图片，分析网址结构如下：

#在命令行中运行
scrapy shell "https://www.meishij.net/china-food/caixi/chuancai/"
#可以发现我们想要爬取的图片src地址位于：
picture_src = response.xpath('/html/body/div[6]/div/div[3]/div[2]/div[1]/div//@src')
#图片标题位置位于：
picture_title = response.xpath('/html/body/div[6]/div/div[3]/div[2]/div[1]/div//@title')

接下来就可以展开爬取工作了

配置Scrapy

首先要生成scrapy，在命令行中运行

scrapy startproject meishijieSpider
cd meishijieSpider
scrapy genspider meishijie

进入文件开始配置具体工作

配置items.py

我们只需要爬取图片名称和下载链接，所以：

import scrapy

class MeishijiespiderItem(scrapy.Item):
    name = scrapy.Field()
    src = scrapy.Field()

##配置meishijie.py
进入spiders文件夹，打开meishijie.py，首先导入之前定义的item，并写好初始爬取url：

import scrapy
from ..items import MeishijiespiderItem
import time