记录学习scrapy 框架遇到的坑,已解决

使用的框架是爬虫框架 scrapy ,
案例需求是将爬取到数据, 一份存储到本地, 一份存储到Mysql 数据库中,爬取的网站是糗事百科的段子版本,
本地数据库环境 mysql5.0 ,

并且在数据库里新建了满足这个案例需求的表,

随后编辑pipelines.py 文件, 新增一个PileLine 类

然后在 settings.py 文件中增加这个类被调用


确定在爬虫文件中, 有用 yield item

出现的问题如下:

那个连接数据库的管道类, 能够在open_spider方法中连接上数据库, 也能在执行close_spider方法, 但是这个 process_item方法却不被执行

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201219103238746.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTEyMjc0MA==,size_16,color_FFFFFF,t_70

这个process_item 方法没有被执行, mysql 连接上了, coon 做了非空判断, 能拿到内存地址

最终出错的原因是因为我的 数据解析出错没有解析到,返回的 item是空, 导致的