Scrapy框架

目录

一、概述

二、Scrapy五大基本构成:

三、整体架构图

 四、Scrapy安装以及生成项目

 Scrapy安装

创建后目录大致页如下

五、案例

1.创建项目

2.修改setting

3.确认要提取的数据，item项

5.交给管道输出

6.run，执行项目

7.测试结果

---

一、概述

        Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架，该框架是封装的，包含 request （异步调度和处理）、下载器（多线程的 Downloader）、解析器（selector）和 twisted（异步处理）等。对于网站的内容爬取，其速度非常快捷。

二、Scrapy五大基本构成:

Scrapy框架主要由五大组件组成，它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组件的作用。

三、整体架构图

 四、Scrapy安装以及生成项目

scrapy startproject 项目名 scrapy genspider 爬虫名 域名 scrapy crawl 爬虫名

打开一个终端输入（建议放到合适的路径下，默认是C盘）

1.scrapy startproject TXmovies

2.cd TXmovies

3.scrapygenspidertxmsv.qq.com

 Scrapy安装

​​​​​​

1. C:\WINDOWS\system32>python -m pip install --upgrade pip

2. C:\WINDOWS\system32>pip install wheel

3. C:\WINDOWS\system32>pip install lxml

4. C:\WINDOWS\system32>pip install twisted

5. C:\WINDOWS\system32>pip install pywin32

6. C:\WINDOWS\system32>pip install scrapy

创建后目录大致页如下

Proje