【Python网络爬虫基础】week04

Scrapy爬虫框架

Scrapy的安装

pip install scrapy  #安装
scrapy -h  #测试效果

“5+2”结构：5个模块，2个中间件
用户需要编写的模块有：SPIDERS、ITEM PIPELINES

框架解析

Engine

• Engine从Spider处获得爬取请求(Request)
• Engine将爬取请求转发给Schedule，用于调度

Downloader

• 根据请求下载网页

SCHEDULE

• 对所有爬取请求进行调度管理

中间件：Downloader Middleware

• 目的：实施Engine、Schedule和Downloader之间进行用户可配置的控制
• 功能：修改、丢弃、新增请求或响应

Spider

• 解析Downloader返回的响应
• 产生爬取项
• 产生额外的爬取请求

Item Pipelines

• 以流水线方式处理Spider产生的爬取项
• 由一组操作顺序组成，类似流水线，每个操作是一个Item Pipeline类型
• 可能操作包括：清理、检验和查重爬取项中的HTML数据、将数据存储到数据库

中间件：Spider Middleware

• 目的：对请求和爬取项的再处理
• 功能：修改、丢弃、新增请求或爬取项

requests库和Scrapy爬虫的比较

requests	Scrapy
页面级爬虫	网站级爬虫
功能库	框架
并发性考虑不足，性能较差	并发性好，性能较高
重点在于页面下载	重点在于爬虫结构
定制灵活	一般定制灵活，深度定制困难
上手十分简单	入门稍难

Scrapy爬虫的常用命令

命令	说明	格式
startproject	创建一个新工程	scrapy startproject <name> [dir]
genspider	创建一个爬虫	scrapy genspider [options] <name> <domain>
settings	获得爬虫配置信息	scrapy settings [options]
crawl	运行一个爬虫	scrapy crawl <spider>
list	列出工程中所有爬虫	scrapy list
shell	启动URL调试命令行	scrapy shell [url]

Scrapy爬虫的第一个实例

步骤1：建立一个Scrapy爬虫工程

scrapy startproject python123demo

步骤2：在工程中产生一个Scrapy爬虫

scrapy genspider demo python123.io

步骤3：配置产生的spider爬虫
配置:(1)初始化URL地址 (2)获取页面后的解析方式

步骤4：运行爬虫，获取网页

scrapy crawl demo

yield关键字的使用

yield：生成器

• 包含yield语句的函数是一个生成器
• 生成器每次产生一个值（yield语句），函数被冻结，被唤醒后再产生一个值
• 生成器是一个不断产生值的函数

scripy爬虫的基本使用

• 步骤1：创建一个工程和Spider模板
• 步骤2：编写Spider
• 步骤3：编写Item Pipeline
• 步骤4：优化配置策略

数据类型
Request类
Response类
Item类