Python Scrapy爬虫框架安装

直接使用pip install scrapy安装scrapy框架是大部分情况是没法正确安装的，需要手动下载某些模块whl包进行本地安装，安装步骤如下：
打开cmd窗口
1、pip install wheel 确保可以使用whl文件进行第三方库安装
2、pip install Twisted安装Twisted，如果失败，用下面的方法进行本地安装
打开https://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到Twisted

选择对应的版本下载到本地，以Windows 10 + Python3.8为例选择xxx-cp-38-win32，cp38代表Python版本
然后使用pip install 进行本地安装，这里我的下载文件放在D盘根目录下

pip install D:\Twisted-20.3.0-cp38-cp38-win32.whl

3、到这里在使用pip install scrapy一般都可以成功了~~

pip install scrapy

4、如果第3步任然失败，可以将scrap依赖的库lxml、pyOpenSSL、PyWin32先分别安装

pip install lxml
pip install pyOpenSSL
pip install PyWin32

最后在运行命令行pip install scrapy等待安装完成就可以了
完成后使用scrapy - h验证scrapy是否正确安装，

最后pip install安装时如果总是提示超时，可以使用清华大学开源软件镜像站进行安装：
临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xxx-xxx-xxx