scrapy pipeline中自定义的spider_opened和spider_closed没有被调用,如何解决无法调用问题
1.问题
我想要的信息正在从网站上正确地爬出,并且process_item方法能够正确调用。但是,不会调用spider_opened和spider_closed方法。
我尝试在spider_closed中添加端点,但debug过程没有运行到端点,一直没办法实现spider_closed函数
class MyPipeline(object):
def __init__(self):
log.msg("Initializing Pipeline")
self.conn = None
self.cur = None
def spider_opened(self, spider):
log.msg("Pipeline.spider_opened called", level=log.DEBUG)
def spider_closed