二、Scrapy安装

Windows安装方式

1、先升级pip版本：pip install --upgrade pip

2、通过pip安装Scrapy框架：pip install Scrapy

其他系统安装方法见  网络爬虫视频

 

安装Scrapy出现的问题：（此方法可通用）

1.出现Microsoft Visual 14.0 is required 解决方法

（1）根据自己的python版本和电脑系统下载Twisted-18.9.0-cp37-cp37m-win_amd64.whl（我的是python3.7版本，64位系统）

网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#pymssql

（2）将下载的文件放入python文件夹所在的Scripts目录下，在当前目录下打开cmd（方法：在当前目录下按Shift，右键点击“在此处打开命令行窗口”，便可打开cmd）

（3）在cmd输入pip install D:\Python37\Scripts\Twisted-18.9.0-cp37-cp37m-win_amd64.whl进行安装。

安装成功之后再 pip install XXXX

2.运行scrapy出现 no modul named pywin32

 pip install pywin32