Windows环境下Pycharm进行Scrapy框架的安装

什么是scrapy?

爬虫中封装好的一个明星框架。功能：高性能的持久化存储，异步的数据下载，高性能的数据解析

环境的安装

• mac或者linux：

pip install scrapy

• windows环境下安装
  比较繁琐一点，需要先安装几个scrapy依赖的库

1. 先安装wheel库

pip install wheel

2.下载twisted库，下载地址为

https://www.lfd.uci.edu/~gohlke/pythonlibs/   #这是一个非常实用的python包网站，里面的python包专门用于windows下的安装

对应选择下载，下载好之后建议将该文件放到python爬虫默认的虚拟环境中，以我的电脑为例，可以看到平常安装的包都在这个文件夹下

然后打开cmd切换到该路径下，输入

pip install 这里输入下载好的twisted文件的名称
#例如
pip install Twisted-18.9.0-cp34-cp34m-win_amd64.whl

如果安装过程中出现以下错误

此时我们将放在虚拟环境site-packages文件夹下的该文件的后缀.whl改为.zip然后解压到当前文件夹


之后将cmd切换到

D:\Source code\Python\venv\Scripts

执行

pip list

查看已经安装好的包，如果twisted在其中，则说明该步骤成功

3.安装pywin32

pip install pywin32

4.安装scrapy

pip install -i https://pypi.douban.com/simple/ Scrapy
#后面这个命令是通过豆瓣源镜像进行下载，速度会快很多，而且较为稳定，建议使用该方法进行安装，python的其他库也可以使用该方法安装

如果没有报错的话，则说明安装成功，可以通过scrapy指令判断一下