一、Scrapy前言
💻 Scrapy 是由 Python 语言开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据,只需要实现少量的代码,就能够快速的抓取。
二、Scrapy简介
Scrapy的优势
可以容易构建大规模的爬虫项目 Scrapy很容易扩展,快速和功能强大且多线程操作
内置re、xpath、css选择器
同时且免费的网络爬虫框架
可以快速导出数据文件: JSON,CSV和XML 可以自动方式从网页中提取数据(自己编写规则)
这是一个跨平台应用程序框架(在Windows,Linux,Mac OS) Scrapy请求调度和异步处理
Scrapy 运行图
⭕ 上面这张图是Scrapy的一个运行图 。 这个运行的原理小猿在这里就不在多讲解了,因为这个原理也不是一两句能够讲清楚的。 如果自己感兴趣,请自行查看官网进行深度学习.
Scrapy 部件
✅ Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
✅ Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
✅ Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
✅ Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器).
✅ Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。
✅ Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。
✅ Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)
三、尝试Scrapy
## 如何创建✔️ 新建项目 (scrapy startproject 项目名称):新建一个新的爬虫项目
✔ 明确目标 (编写items.py):明确你想要抓取的目标
✔ 制作爬虫 (spiders/name_spider.py):制作爬虫开始爬取网页
✔ 存储内容 (pipelines.py):设计管道存储爬取内容
文件目录
scrapy.cfg :项目的配置文件
mySpider/ :项目的Python模块,将会从这里引用代码
mySpider/items.py :项目的目标文件
mySpider/pipelines.py :项目的管道文件
mySpider/settings.py :项目的设置文件
mySpider/spiders/ :存储爬虫代码目录
寻找目标
1.打开 mySpider 目录下的 items.py。
2.Item 定义结构化数据字段,用来保存爬取到的数据,有点像 Python 中的 dict,但是提供了一些额外的保护减少错误。
3.可以通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field 的类属性来定义一个 Item(可以理解成类似于 ORM 的映射关系)。
最后接下来,创建一个 ItcastItem 类,和构建 item 模型(model)
import scrapy
class ItcastItem(scrapy.Item):
name = scrapy.Field()
title = scrapy.Field()
info = scrapy.Field()
制作爬虫
1. 爬数据
在当前目录下输入命令,将在mySpider/spider目录下创建一个名为itcast的爬虫,并指定爬取域的范围
scrapy genspider itcast "itcast.cn"
2.取数据
xpath 方法,我们只需要输入的 xpath 规则就可以定位到相应 html 标签节点
3.保存数据
使用Mysql 存入数据
状态码
⭕ 基本的请求状态码 :当我们进行网络爬虫前一定要多去过几次HTTP返回的状态码;这个真的很重要,如果我们对状态码都不是很清楚的话,有时候对于浏览器放回的值 就会产生看不懂的情况,就会很迷茫.所以,浏览器最基本的几个状态码一定要懂哦:
- 200 - 请求成功
- 301 - 资源(网页等)被永久转移到其它URL
- 404 - 请求的资源(网页等)不存在
- 500 - 内部服务器错误
四、总结
😏 小猿在这里就先卖个葫芦,各位小伙伴请自己先行消化,下一期发布实战项目哦.