1、未设置IMAGES_STORE
概述:未设置setting.py文件中的IMAGES_STORE属性导致图片不知道保存到什么位置可能会报标题错误,设置演示如下:
ITEM_PIPELINES = {
# 引入imagePipeline,设置权重为300
'scrapy.pipelines.images.ImagesPipeline':300,
}
# 设置保存路径
IMAGES_STORE = "D:\scrapyProject\imgs"
2、allowed_domains没有添加对应的域名
概述:爬虫文件中的allowed_domains属性用于指定 Spider 允许爬取数据的域名范围。需要将所有可能爬取到的域名都放到这个列表中,以下是获取某瓣图片及其影片名称时所用到的域名:
allowed_domains = ["movie.douban.com","douban.com","img3.doubanio.com"]
注意:这里是新手犯错的重灾区,并不是只用关注目标网站的域名,还要关注所有资源可能会用到的域名。