Scrapy的安装介绍

Scrapy框架官方网址：http://doc.scrapy.org/en/latest
Scrapy中文维护站点：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
Python 2 / 3
升级pip版本：pip install --upgrade pip
通过pip 安装 Scrapy 框架pip install Scrapy
具体Scrapy安装流程参考：http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes
里面有各个平台的安装方法

2、安装报错汇总
（1）使用Scrapy时遇到0: UserWarning: You do not have a working installation of the service_identity module: ‘cannot import name ‘opentype’’. Please install it from …的问题解决
http://www.bubuko.com/infodetail-2467560.html

（2）报etree

原因：默认安装的lxml版本太高（默认安装最新版），卸载后，重新安装3.8以下版本
conda uninstall lxml
conda install lxml==3.8

（3）解决Scrapy安装错误:Microsoft Visual C++ 14.0 is required…
问题描述：
当前环境win7，python_3.6.1，64位。
在windows下，在dos中运行pip install Scrapy报错：
Error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted-18.4.0-cp36-cp36m-win_amd64.whl），
Twisted-18.4.0-cp36-cp36m-win_amd6
4.whl
2.98MB
Twisted-18.4.0-cp35-cp35m-win_amd6
4.whl
2.98MB
cp后面是python版本，amd64代表64位，运行命令：
pip install C:\Users\ibm\Downloads\Twisted-18.4.0-cp36-cp36m-win_amd64.whl

其中install后面为下载的whl文件的完整路径名
安装完成后，以管理员身份次运行：pip install scrapy 即可成功。

（4）解决scrapy运行报No module named ‘win32api’
解决方法：
pip install pywin32

如果网速不行，可登录：https://pypi.org/project/pywin32/#files，进行下载