一.Scrapy
- Scrapy是用纯python实现的一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛.
1.Scrapy架构图
- scrapy engine(引擎)-----负责 spider ,schedualer , downloader , itempipeline中间的通讯,信号,数据传递等
- scheduler(调度器) -----它负责接收引擎发送过来的requests请求,并按照一定的方式进行整理排列,入列,当引擎需要时,交还给引擎.
- downloader(下载器) -----负责下载scrapy engine(引擎)发送所有的requests请求,并将其获取到的responses交还给scrapy engine (引擎) ,由引擎交给spider来处理
- spider(爬虫) -----它负责处理所有的responses ,从中分析提取数据,获取item字段需要的数据,并将需要跟进的url提交给引擎,再次进入scheduler(调度器).
- downloadler middlewares(下载中间件) ----你可以当做是一个自定义下载扩展下载功能的组件
- spidermiddlewares(spider中间件) ----- 一个自定义扩展和操作引擎和spider中间通信的功能组件
注意: 只有当调度器中不存在任何requests时,整个程序才会停止
.
2.scrapy爬虫步骤
.
3.scrapy创建爬虫项目
- 安装scrapy pip install scrapy
- 创建项目 scrapy startproject baidu
- 在spider文件下 新建baidu.py
- cd 项目下, 启动爬虫 ,scrapy crawl baidu
三.案例
1.scrapy简单爬取百度首页
spider 项目下的bd.py文件
# -*- coding: utf-8 -*-
import scrapy
class BdSpider(scrapy.Spider):
# name:爬虫的名字,运行scrapy项目是,必须使用此属性值
name = 'bd'
# allowed_domains:允许爬取的域名,一般来说,可以注释掉
# allowed_domains = ['bd.com']
# start_urls:开始爬取的URL,scrapy自动帮助我们下载,帮助我们请求,
# 我们只需要告诉scrapy要爬取哪一个URL或者哪一些URL即可,scrapy会自动的从
# start_urls中获取URL并请求
start_urls = ['https://www.baidu.com/']
# parse()方法:自动执行的,scrapy将从start_urls中下载好的response交给parse()处理
def parse(self, response):
# 保存页面
with open('bd.html','w',encoding='utf-8') as fp:
fp.write(response.text)
pass