scrapy实践一（CrawlSpider爬取图片并存储）

前言

为公众号收集电影图片素材

使用scrapy图片下载

目标网站
https://film-grab.com/

爬取成果

因为已经有了一次爬取成功的基础，再加上这个网站结构跟上个例子差不多，所以很快就达到了目的。
有多快呢
十分钟不到

代码参考
settings.py(已删除多余部分)

BOT_NAME = 'pictures'
SPIDER_MODULES = ['pictures.spiders']
NEWSPIDER_MODULE = 'pictures.spiders'
ROBOTSTXT_OBEY = False
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML