Python3 Scrapy网络爬虫环境搭建（Windows平台）

安装过程

安装基础环境

1.Python安装

https://www.python.org/downloads/windows/

安装Python安装包，一路Next
将Python的安装目录添加到环境变量Path中
win + r 输入Cmd打开命令行窗口，输入Python 测试是否安装成功

2.安装pip

https://pypi.python.org/pypi/pip

pip的作用相当于linux的yum，安装之后可以采用命令行的方式在线安装一些依赖包 
2.1 解压pip压缩包到某一目录（推荐与Python基础环境目录同级） 
2.2 cmd窗口进入pip解压目录 
2.3 输入 python setup.py install 进行安装，安装过程中将会在Python目录的scripts目录下进行 
2.4 将pip的安装目录 C:\Python34\Scripts; 配置到环境变量path中 
2.5 cmd命令行输入pip list 或者 pip –version 进行检验

2.6 pip更新
python -m pip install --upgrade pip

3.安装Scrapy

Scrapy是一个比较成熟的爬虫框架，使用它可以进行网页内容的抓取，但是对于windows并不友好，我们需要一些类库去支持它 
3.1 安装pywin32: 

https://github.com/mhammond/pywin32/releases

注意：需要选择与Python一致的版本。
3.2 安装wheel：安装scrapy时需要一些whl文件的安装，whl文件的安装需要预先配置wheel文件。在cmd下使用pip安装 ： pip install wheel 
3.3 安装PyOpenSSL：下载完成PyOpenSSL后，进入下载所在目录，执行安装：pip install pyOpenSSl (注意，执行安装的wheel文件名一定要tab键自动弹出，不要手动敲入) 
3.4 安装lxml: 直接使用pip在线安装 pip install lxml 

3.5 安装scrapy：pip install Scrapy，安装完成后可以再命令行窗口输入Scrapy进行验证

安装过程中遇到错误

报错Failed building wheel for Twisted，需要我们自己下载Twisted，然后安装。这里有Python的各种依赖包。选择适合自己Python以及系统的Twisted版本。 
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 

选择对应的版本下载，并用pip进行安装即可。

pip install Twisted-18.7.0-cp37-cp37m-win32.whl