探讨scrapy当中的pipeline何时获取item。
问题来自于在运行spider过程中,pipeline当中写入的数据库存储过程始终得不到item传递的数据,经调试,发现了pipeline被调用的机制。
写一段代码来测试:
spider.py:
import scrapy
from items import Work1Item #自定义的item,用于结构化数据
class Work1Spider(scrapy.Spider):
原创
2017-09-21 14:41:23 ·
3287 阅读 ·
0 评论