scrapy xpath空列表_python爬虫学习（4）——scrapy框架入门

这篇文章我们来学习使用 scrapy 框架，首先介绍一下什么是 scrapy：scrapy 是一套基于 Twisted 的异步处理框架，纯 python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

我们使用 wheel 来安装 scrapy 框架，scrapy 的 whl 包安装地址如下：

https://www.lfd.uci.edu/~gohlke/pythonlibs/​www.lfd.uci.edu

如果不知道自己的 python 支持哪个版本的 scrapy，可以打开 python，输入以下代码即可查询：

import pip
print(pip.pep425tags.get_supported())

找到对应版本后，将whl文件下载到 python 的 Scripts 的目录中，然后直接使用如下命令来进行安装：

pip install xxxxx.whl

scrapy 安装完成后先建立项目，输入 scrapy startproject xxx 即可。

项目建立完成后会生成以下目录：