一个简单项目,爬取豆瓣top250书单
运行方法:
- 在cmd中运行
- 创建main.py运行
在编译器中运行main文件,提示:
在cmd中输入指令:scrapy crawl douban
也出现以上错误,或者出现:没找到pywin32
解决方案:
- 注意main文件与scrapy.cfg文件同级
- 运行时(cmd或编译器)路径切换到scrapy.cfg的所在文件夹位置
- 先安装pywin32文件(下载地址:https://pypi.org/project/pywin32/#files),注意安装与你的python对应版本的pywin32,下载后在文件所在路径以管理员身份打开cmd,输入pip install pywin32回车即可
- 爬虫文件中allowed_domains尝试修改为allowed_domins
(根据个人遇到的问题记录的,如有遇到其他错误再继续加上来)