学习笔记(05):Python网络爬虫之--Scrapy框架的使用-Python网络爬虫之--Scrapy框架的使用-1...

立即学习:https://edu.csdn.net/course/play/8147/167097?utm_source=blogtoedu

Scrapy框架:

介绍: Scrapy框架是有Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据

用途:数据挖掘、检测、自动化测试

Scrapy运行原理:

Scrapy的原理:

1. 从Spider类开始调度,初始化请求的URL地址;

2. 初始化之后的URL地址将会经由引擎送到调度器当中

3. 调度器接收后将其封装成requests交由Downloader Middlewares再交给Downloader下载

4. 下载完成后,Downloader会返回Response,Response会经由两个Middlewares交给Spiders

5.Spiders接收到Response将会解析数据、清洗数据。并将解析后的数据封装成Items发送到Item Pipeline

6. Item Pipeline接收到数据之后就可以进行数据的处理和储存

相关推荐
©️2020 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页