mac下抓取伯乐在线网站debug过程中遇到的坑及补充
使用vartualenv创建的python3.x版本在pycharm中运行第四章抓取伯乐在线的例子中
- 如果遇到以下情况该怎么做
1.MysqlTwistedPipline的对象没有cursor属性?
解决办法一:
请检查你是否加了self?
如果有,请去掉
解决办法二:
是否引入这些依赖
import pymysql
from pymysql import cursors
pymysql.install_as_MySQLdb()
from twisted.enterprise import adbapi
from scrapy.pipelines.images import ImagesPipeline
from scrapy.exporters import JsonItemExporter
如果这两点都解决了的话,那么就可以在数据库中看到这些数据已经保存下来了,爬虫正常工作