Scrapy爬虫框架安装记录:
成功解决Microsoft visual c++ 14.0 is required问题~~
因为在我安装scrapy时,提示信息里写到需要安装twisted,但是在我尝试用pip install twisted时,还是会出现"Microsoft Visual C++ 14.0 is required"的问题。
于是我想起来,还有一种安装组件的方法,那就是在组件库里先下载需要的组件,然后再安装。下载地址为:https://www.lfd.uci.edu/~gohlke/pythonlibs/
下载成功后,需要切入Python所在目录,使用pip install 路径命令进行安装,之后在使用pip install scrapy
Scrapy爬虫项目创建记录:
scrapy 框架爬虫无法运行解决方法:ModuleNotFoundError: No module named ‘win32api’
出现原因:
一般情况,下载Python是没有自带访问windows系统API的库
解决方案:
直接下载win32api库,链接https://sourceforge.net/projects/pywin32/?source=typ_redirect
或者运行命令行
pip install pypiwin32
利用main入口类进行爬虫项目的调试,总是报ModuleNotFoundError: No module named ‘win32api’
出现原因:
每一个项目都有自己对应的解释器,eg:
此时,运行爬虫项目quotes,原先的库文件win32装在了united项目的解释器上,所以需要重新load库文件。