安装:
打开终端
为避免pip版本过低,先输入pip install --upgrade pip升级
一开始直接使用pip install Scrapy安装不成功,后采用whl格式的包安装。
首先安装wheel库:pip install wheel
验证是否安装成功:wheel
下载scrapy和Twist的whl包
网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/
Crtl+F直接搜索就好
将这两个文件保存在本地,要记住路径。我这里放在了C:\Users\11306
安装这两个包的时候要注意,一定要打开所在文件然后安装,如下图所示。
pip install Twisted-20.3.0-cp39-cp39-win_amd64.whl
pip install Scrapy-2.5.0-py3-none-any.whl
输入scrapy检查是否安装成功。
scrapy使用Twisted异步网络框架,可加快下载速度。优点是用少量的代码实现快速的抓取。
scrapy工作流程:
Spider(爬虫)和Item Pipeline(管道)需要手写
入门使用:
1.创建一个scrapy项目
scrapy startproject 项目名称
2.生成一个爬虫
scrapy genspider 文件名称 域名
scrapy genspider itcast itcast.cn
默认生成以下代码。