使用scrapy自带的closespider等方法是无法立刻退出spider的,它们总是会拖延一段时间。
使用os.abort方法退出spider,简单粗暴,立马见效。
强制退出scrapy
于 2020-08-26 22:47:29 首次发布
使用scrapy自带的closespider等方法是无法立刻退出spider的,它们总是会拖延一段时间。
使用os.abort方法退出spider,简单粗暴,立马见效。