Python3.6下scrapy框架的安装

在pycharm中直接pip install scrapy 会报错，由于scrapy依赖于其他的第三方库，所以的先安装它所依赖的其他库

错误 ---- Failed building wheel for Twisted Microsoft Visual C++ 14.0 is required...

如果在运行scrapy scrawl xxx 时发生No module named win32api(可在日志中查看)，说明你的电脑没有安装pywin32库，因为Python是没有自带访问windows系统API的库的，需要下载，请戳链接自行下载 :

http://sourceforge.net/projects/pywin32/files%2Fpywin32/   （下载适合你的Python版本）

我的python版本是3.6所以下载pywin32-221.win-amd64-py3.6.exe，完成直接安装就OK，通常安装路径跟python同步

正题开始：

1、直接使用pip install scrapy安装不成功可以安装whl格式的包

首先下载scrapy的whl包

下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

在网页中搜索scrapy找到

• • •      Scrapy-1.5.0-py2.py3-none-any.whl
    •    下载了scrapy的whl包先不要着急安装，接着 
    • 2、安装whl格式包需要安装wheel库
    •      这个库可以直接在pycharm中使用pip install wheel安装wheel，或者在settings中的Project Interpreter中直接搜索安装

      3、scrapy依赖twiste，同样使用whl格式的包进行安装

           还是进入http://www.lfd.uci.edu/~gohlke/pythonlibs/，在网页中搜索twisted找到其对应的whl包并下载

根据你的Python的版本选择合适的包，名称中间的cp36是python3.6的意思，amd64是python的位数

下载完成后使用cmd(windows下的命令终端)打开windows的命令行窗口，进入两个whl包所在的文件夹执行如下命令

pip install [whl]

[whl]是whl包的名字，即：

pip install Twisted-17.9.0-cp36-cp36m-win_amd64.whl

       Scrapy-1.3.3-py2.py3-none-any.whl包使用同样的方式安装，只是应该等到其所有依赖的包安装完成后才能进行安装，现在还不能安装

4、scrapy依赖lxml包，需要先安装lxml包,这个包也可在pycharm中直接安装

5、所有准备工作做完，终于可以安装scrapy包了，进入Scrapy-1.3.3-py2.py3-none-any.whl所在的目录(用cmd命令窗口)，命令如下

pip install Scrapy-1.5.0-py2.py3-none-any.wh

6. 最后一步，看看日思夜想的scrapy到底有木有安装完成呢

scrapy -h

OK! 这就安装完成了，大坑啊耗了好长时间