遇到的问题
我电脑是win7系统,刚开始安装的anaconda3.7最新版本和pycharm2018专业版。刚开始学习scrapy框架,想着利用anaconda安装scrapy框架更容易些,因为anaconda会自动安装依赖库。但是遇到的坑可不少
cmd启动项目提示,scrapy不是内部或外部命令
这个问题比较好解决,在电脑中配置环境变量即可:计算机右键-属性-高级设置-环境变量-系统变量中path 中加入scrapy的详细安装路径即可。
scrapy命令出现DLL错误,lxml找不到木块etree
这个问题很头疼,百度了半天,最多的说法是因为最新版本lxml4.4已经没有etree模块,我的解决方案如下:
1、开始是从pycharm中构建新的虚拟环境,直接导入第三方库,选择lxml3.8.0的库,但是总是安装不成功,提示V++错误之类的。去lxml官网查找,发现3.8.0版本不支持3.7,但是我的anaconda安装的是Python3.7,所以不能安装;
2、在anaconda中创建虚拟环境Python3.6,(3.6以下也行),并在虚拟环境中应用scrapy框架,最后在pycharm中创建anaconda配置的3.6虚拟环境(过程和上同),果然在cmd中终于可以成功创建项目和爬虫,利用pycharm打开即可编辑新的爬虫项目了。
新的坑点:重装anaconda遇到的问题——无法新装虚拟环境
因为anaconda安装目录内存不够,我重新卸载了anaconda3,并重新安装,结果出现问题了:无论如何都不能创建新的虚拟运行换件,不管是conda -n python36 python=3.6命令,还是直接在anaconda的environment中直接create新的虚拟环境,都不能成功。我删除所有残留的anaconda注册表重装以后还是同样的问题,百度半天也没有解决方案,最后只好卸载anaconda,安装python3.6,直接用Python3.6和pycharm配置scrapy运行环境,需要安装依赖库:lxml,Twisted,PyopenSSL,Pywin32,最后再安装scrapy就可以。
scrapy及其依赖库可以通过cmd的pip命令安装,也可以直接在pycharm运行环境中直接导入第三方库。这中间Twisted库直接导入会出问题,会提示“error: Microsoft Visual C++ 14.0 is required.”,表明缺少C++,安装以后可以解决,但是比较麻烦,建议下载Twisted的安装wheel,然后在利用pip 命令安装即可完成。其他的依赖库基本上cmd安装没问题。