python Scrapy的安装

Scapy是python爬虫框架，适用于做大型的爬虫项目，在项目执行过程中可以不用过多关注细节（例如报错信息），只要任务集中在“爬取”。

由于Scrapy框架涉及太多的依赖库，我们可以为特定爬虫项目创建虚拟环境以避免与之前系统以安装的包存在冲突，在进行pip安装。

具体虚拟环境的创建可以参考官方手册：
点击进入

直接pip安装

pip install scrapy

ps:尽可能开个VPN或者采用本地安装的方法
可能遇到的坑

1. pip版本需升级

python -m pip install --upgrade pip

升级过程中可能会遇到:AttributeError: 'NoneType' object has no attribute 'bytes'

故可使用下面命令：

easy_install -U pip

2. windows10可能会存在需要安装Visual Studio
   点击进入官网进行下载

3. 安装lxml
   方法：点击，寻找lxml-、

pip install wheel
#根据python版本进行相应的下载
pip install lxml‑4.4.1‑cp36‑cp36m‑win_amd64.whl