python scrapy环境搭建及demo分享

前言
一个高级测试工程师在自学Python后，向我推荐的一个比较容易上手的Python 框架scrapy。在网上搜索了一下资料后感觉挺有趣的，就想着自己也搭建个环境，然后做一个爬取图片的demo玩下。

开发环境搭建

Python安装

下载地址：https://www.python.org/getit/
这里我下载的是3.8.0的版本（我的安装目录是：D:\python\Python38-32）
安装完后设置环境变量：在path中追加：D:\python\Python38-32; D:\python\Python38-32\Scripts
升级pip
输入命令：

python -m pip install --upgrade pip

安装scrapy依赖的模块

安装wheel

进入cmd执行命令命令：

> pip install wheel

安装pywin32
下载地址：https://github.com/mhammond/pywin32/releases
由于我安装的Python是32位的，估选择win32-py3.8版本，下载后双击安装即可

安装 lxml
运行命令：

> pip install lxml

安装Twisted
由于直接使用命令在线安装一直报下载超时，估采用离线安装的方式
下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

运行命令：

> pip install Twisted-19.10.0-cp38-cp38-win32.whl

安装scrapy

运行命令：

> pip install scrapy

到目前为止就完成了scrapy环境的搭建，相对简单

编写demo

准备内容

被爬网站
选择百度图片首页：http://image.baidu.com/
规则分析
首先想到的是通过xpath的方式来爬取图片，xpath语句：//div[@class=“imgrow”]/a/img/@src。但是在编写爬虫(Spi