Scrapy爬虫框架环境搭建（windows平台；qq浏览器无法下载问题）

一、导读

爬虫的魅力大家应该都有所耳闻吧，什么vip啊，什么高清美图啊（邪恶的一笑），什么付费电影的啊，在爬虫面前都是不堪一击的。不好意思牛逼吹过了，如此强大的爬虫，自然需要一个牛逼的框架，今天的主角Scrapy爬虫框架。万里长征第一步，还是先装好环境吧。不瞎逼逼了。

二、步骤

1. 先下载python环境（下载地址：python传送门）

2. 安装wheel库的

pip install wheel

3. 安装twiste库

首先点击：python第三方下载地址 这个地址（如果是用qq浏览器下载，下载会出现404页面，我当时就是这样的，需要谷歌浏览器下载，其它浏览器不清楚有没有404情况了），网页中搜索twiste关键字如下图：

其中cp37代表python的版本需要和自己本地装的python的版本对应上（比如我的python版本是3.7就下载37，64的那个），32，64代表电脑是多少位的。

下载好然后再当前目录下执行下面的命令
pip install Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl

4. 安装lxml库 （和上面安装twiste库是一样的操作，搜索关键字换成lxml）

pip install lxml‑4.3.2‑cp37‑cp37m‑win_amd64.whl

5. 安装Scrapy库

上面的环境安装好了之后，就可以直接用pip安装Scrapy库了。

pip install Scrapy

6. 测试是否安装成功（命令行输入，如果有版本号，就是安装成功了）

scrapy version

7. 安装pywin32模块（还是根据自己python版本下载对应的版本） 下载地址

8. 总结 （ps：需要注意把python的home路径和里面的Scripts加入环境变量中，如下图）

为什么要上面那安装，下面这张图说明了一切了（再次邪恶一笑~~）