scrapy中主动触发关闭爬虫的方法

背景:

最近喜欢上了一本小说<全职高手>，有点郁闷的是，在网页中看小说看一章就得点击一下，严重影响了用户体验，所以想着自己写一个爬虫，将小说加载到一个text文件中，随时随地都能满足自己。结果在获取内容的过程中发现，小说网站做的太low了，竟然将两本小说放在一起，爬虫没有人看着的话就会把无用的小说内容也获取到，所以需要我们设置条件，主动触发关闭爬虫scrapy的运行。

在spider中 主动关闭爬虫:

self.crawler.engine.close_spider(self, “cookie失效关闭爬虫”)

在pipeline 和downloadermiddlewares 主动关闭爬虫：

spider.crawler.engine.close_spider(spider, “全文结束关闭爬虫”)