最初遇到这个问题的时候,是因为我没有安装scrapy
在这个之前,还有一个问题,就是提示pip版本不对,建议是否需要升级下pip版本。另外,如果使用pycharm,请先查看是否用的版本对,如果本机安装了2个以上的python版本,就要注意选择正确了!升级版本完成后,由于scrapy爬虫框架依赖许多第三方库,所以在安装scrapy之前,需确保以下第三方库均已安装:
1.lxml库
可通过命令行查看是否安装
pip3 list
2.通过 pip安装 zope.interface库
pip3 install zope.interface
3.twisted库
twisted库不能通过pip进行安装,可通过whl文件进行安装。
进入:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
cp后面代表python的版本,win后为计算机位数。需依据自己的情况选择合适的下载。
找到twisted库,下载到本地。我的是64版本,因此选择这个
下载好后,安装:
pip install c:\这里是你存放.whl文件的路径\Twisted-18.7.0-cp37-cp37m-win_amd64.whl
4.pyOpenSSL库
pip install pyOpenSSL
5.pywin32库
pywin32库也不能通过pip进行安装,通过下载whl文件进行安装,与安装twisted库过程一样。
但不同的是,我们要找到安装好后的pywin32在python文件夹的位置,并复制里面的文件到C:\Windows\System32路径下。
6.安装完以上依赖库后
pip install scrapy
这样就安装好Scrapy爬虫框架了。
但是,在用pycharm来运行爬虫程序时:
我又遇见了那个相同的错误:No module named 'scrapy'
通过查看项目的interpreter 我发现,packages里并没有scrapy
也就是说,虽然我已经下载并安装成功了scrapy,但是pycharm里并没有导入成功。
该怎么做呢?
这位博主的文章——在Pycharm中运行Scrapy爬虫项目的基本操作:
https://www.cnblogs.com/llssx/p/8378832.html
帮助我解决了问题~