有的用虚拟机,在磁盘满的时候直接停止scrapy爬虫
total, used, free = shutil.disk_usage("/")
# 监测剩余空间,当前剩余空间 小于时,停止爬虫
free_space = free // (2 ** 30)
if free_space < settings['FREE_SPACE']:
#scrapy直接关闭 关闭爬虫
spider.crawler.engine.close_spider(spider, '空间不足,关闭爬虫')