python网络爬虫（五）

Scrapy爬虫框架结构

Engine

1. 控制所有模块之间的数据流
2. 根据条件触发事件
   不需要用户修改

Downloader

根据请求下载网页
不需要用户修改

Scheduler

对所有爬取请求进行调度管理
不需要用户修改

Downloader Middleware

目的：实施Engine、Scheduler和Downloader之间进行用户可配置的控制
功能：修改、丢弃、新增请求或响应
用户可以编写配置代码

Spider

1. 解析Downloader返回的响应（Response）
2. 产生爬取项（scraped item）
3. 产生额外的爬取请求（Request）
   需要用户编写配置代码

Item Pipelines

1. 以流水线方式Spider产生的爬取项
2. 由一组操作顺序组成，类似流水线，每个操作是一个Item Pipeline类型
3. 可能操作包括：清理、检验和查重爬取项中的HTML数据、将数据存储到数据库
4. 需要用户编写配置代码

Spide Middleware

目的：对请求和爬取项的再处理
功能：修改、丢弃、新增请求或爬取项
用户可以编写配置代码

requests 和 Scrapy

相同点

两者都可以进行页面请求和爬取，python爬虫的两个重要技术路线
两者可用性都好，文档丰富，入门简单
两者都没有处理js、提交表单、应对验证码等功能（可扩展）

区别

Scrapy常用命令

命令	说明	格式
startproject	创建一个新工程	scrapy startproject < name >[dir]
genspider	创建一个爬虫	scrapy genspider [options] < name > < domain >
crawl	运行一个爬虫	scrapy crawl < spider >
settings	获得爬虫配置信息	scrapy settings [options]
list	列出工程中所有爬虫	scrapy list
shell	启动URL调试命令行	scrapy shell [url]

创建Scrapy爬虫

步骤1：建立一个Scrapy爬虫工程
选取一个目录（D：\pycodes\），然后执行如下命令：

D:\pycodes>scrapy startproject python123demo

工程目录

步骤2：在工程中产生一个Scrapy爬虫
进入工程目录（D：\pycodes\python123demo）,然后执行如下命令：

D:\pycodes\python123demo>scrapy genspider demo python123.io

该命令作用：

1. 生成一个名称demo的spider
2. 在spiders目录下增加代码文件demo.py
   #步骤3：配置产生的spider爬虫
   配置：
3. 初始化URL地址
4. 获取页面后的解析方式
   步骤四：运行爬虫，获取网页
   在命令行下，执行如下命令：

D:\pycodes\python123demo>scrapy crawl demo

demo爬虫被执行，捕获页面存储在demo.html