scrapy是基于python的开源爬虫框架,功能极其强大,扩展性好,几十行代码就可以实现强大的python爬虫。
自己在windos下进行的安装,出现无数次ng,下面会有指出。
安装前提要求:
1.python安装好,并配置好环境配置。这里我是用的python3.6
2.python已经安装好了虚拟环境。对于虚拟环境不懂得可以搜索python虚拟环境(virtualenv)配置或者通过pycharm进行虚拟环境搭建。
3.pip安装
进入cmd 安装pip
python get-pip.py
4.Microsoft Visual C++ 14 以上,可以在控制面板里面查看是否已经安装,
不然会安装会以下报错误
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools