scrapy爬虫安装及环境配置和出现的问题（历史最详细）

scrapy是基于python的开源爬虫框架，功能极其强大，扩展性好，几十行代码就可以实现强大的python爬虫。

自己在windos下进行的安装，出现无数次ng，下面会有指出。

安装前提要求：

1.python安装好，并配置好环境配置。这里我是用的python3.6

2.python已经安装好了虚拟环境。对于虚拟环境不懂得可以搜索python虚拟环境（virtualenv）配置或者通过pycharm进行虚拟环境搭建。

3.pip安装   

进入cmd 安装pip  
python get-pip.py 

4.Microsoft Visual C++ 14 以上，可以在控制面板里面查看是否已经安装，

不然会安装会以下报错误

building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools