使用Scrapy爬取图片
分析网址
网址地址:美食杰-川菜.
我们需要爬取网站上的菜谱图片,分析网址结构如下:
#在命令行中运行
scrapy shell "https://www.meishij.net/china-food/caixi/chuancai/"
#可以发现我们想要爬取的图片src地址位于:
picture_src = response.xpath('/html/body/div[6]/div/div[3]/div[2]/div[1]/div//@src')
#图片标题位置位于:
picture_title = response.xpath('/html/body/div[6]/div/div[3]/div[2]/div[1]/div//@title')
接下来就可以展开爬取工作了
配置Scrapy
首先要生成scrapy,在命令行中运行
scrapy startproject meishijieSpider
cd meishijieSpider
scrapy genspider meishijie
进入文件开始配置具体工作
配置items.py
我们只需要爬取图片名称和下载链接,所以:
import scrapy
class MeishijiespiderItem(scrapy.Item):
name = scrapy.Field()
src = scrapy.Field()
##配置meishijie.py
进入spiders文件夹,打开meishijie.py,首先导入之前定义的item,并写好初始爬取url:
import scrapy
from ..items import MeishijiespiderItem
import time