防止持久化存储时出现中文乱码:
FEED_EXPORT_ENCODING ='UTF8'
将是否遵循Robot协议改为False:
ROBOTSTXT_OBEY=False
输出报错的日志信息:
LOG_LEVEL='ERROR'
更改headers信息:
USER_AGENT=‘’#引号内填入浏览器中找到的对应的USER_AGENT信息
在配置文件中开启管道:
ITEM_PIPELINES={
‘xxPro.pipelines.xxproPipeline’:300,
#300表示优先级,数值越小,优先级越高
}#这里面可以写多个
指定图片存储路径:
IMAGES_STORE=''#引号内填入想要存储到的路径