这篇文章我们来学习使用 scrapy 框架,首先介绍一下什么是 scrapy:scrapy 是一套基于 Twisted 的异步处理框架,纯 python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。
我们使用 wheel 来安装 scrapy 框架,scrapy 的 whl 包安装地址如下:
https://www.lfd.uci.edu/~gohlke/pythonlibs/www.lfd.uci.edu如果不知道自己的 python 支持哪个版本的 scrapy,可以打开 python,输入以下代码即可查询:
import pip
print(pip.pep425tags.get_supported())
找到对应版本后,将whl文件下载到 python 的 Scripts 的目录中,然后直接使用如下命令来进行安装:
pip install xxxxx.whl
scrapy 安装完成后先建立项目,输入 scrapy startproject xxx 即可。
项目建立完成后会生成以下目录: