1、Scrapy框架是一个异步框架
2、基于Twiisted库(Twiisted库又依赖于Lxml库,所以要首先安装lxml库)
3、升级piip工具:python -m pip install -U pip
4、安装步骤:
(1)安装lxml:pip3 install lxml
(2)安装twisted:pip3 install twisted
(3)安装scrapy:pip3 install scrapy
(4)安装关联模块pypiwin32:pip3 install pypiwin32
二、Scrapy框架的使用
1、运行图:
2、创建项目
运行命令:scrapy startproject 项目名称
3、项目目录结构
(1)scrapy.cfg(配置文件)
(2)item.py:
在item中定义用于存储爬取到的数据的数据模型
(3)middlewares.py:
一般用于存储中间件的数据
(4)piplines.py:
将返回的数据进行存储
(5)settings.py:
整个项目的设置文件