初识 scrapy
Scrapy是一个使用Python语言(基于Twisted框架)编写的开源网络爬虫框架,目前由Scrapinghub Ltd维护。Scrapy简单易用、灵活易拓展、开发社区活跃,并且是跨平台的。在Linux、 MaxOS以及Windows平台都可以使用。
1. Scrapy 简介
1.1 网络爬虫
网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域,个人用户或企业也可以利用爬虫收集对自身有价值的数据。
一个网络爬虫程序的基本执行流程可以总结三个过程:请求数据, 解析数据, 保存数据
1.1.1 请求数据
请求的数据除了普通的HTML之外,还有 json 数据、字符串数据、图片、视频、音频等。
1.1.2 解析数据
当一个数据下载完成后,对数据中的内容进行分析,并提取出需要的数据,提取到的数据可以以多种形式保存起来,数据的格式有非常多种,常见的有csv、json、pickle等
1.1.3 保存数据
最后将数据以某种格式(CSV、JSON)写入文件中,或存储到数据库(MySQL、MongoDB)中。同时保存为一种或者多种。
通常,我们想要获取的数据并不只在一个页面中,而是分布在多个页面中,这些页面彼此联系,一个页面中可能包含一个或多个到其他页面的链接,提取完当前页面中的数据后,还要把页面中的某些链接也提取出来,然后对链接页面进行爬取(循环1-3步骤)。
设计爬虫程序时,还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略(深度优先或广度优先等)、爬虫访问边界限定等一系列问题。
从头开发一个爬虫程序是一项烦琐的工作,为了避免因制造轮子而消耗大量时间,在实际应用中我们可以选择使用一些优秀的爬虫框架,使用框架可以降低开发成本,提高程序质量,让我们能够专注于业务逻辑(爬取有价值的数据)。接下来,就带你学习目前非常流行的开源爬虫框架Scrapy。
1.2 Scrapy安装
官网 https://scrapy.org/
1.2.1 安装方式
在任意操作系统下,可以使用pip安装Scrapy,例如:
$ pip install scrapy
为确认Scrapy已安装成功,首先在Python中测试能否导入Scrapy模块:
>>> import scrapy
>>> scrapy.version_info
(1, 8, 0)
然后,在 shell 中测试能否执行 Scrapy 这条命令:
(base) λ scrapy
Scrapy 1.8.0 - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
通过了以上两项检测,说明Scrapy安装成功了。如上所示,我们安装的是当前最新版本1.8.0。
注意:
-
在安装Scrapy的过程中可能会遇到缺少VC++等错误,可以安装缺失模块的离线包
-
链接:https://pan.baidu.com/s/12YD-cHdy36ShHilbzqTkZQ
提取码:0e4e下载 Microsoft Visual C++ Build Tools.exe 文件双击安装即可
-
-
成功安装后,在CMD下运行scrapy出现上图不算真正成功,检测真正是否成功使用
scrapy bench
测试,如果没有提示错误,就代表成功安装。
具体Scrapy安装流程参考:**http://doc.scrapy.org/en/latest/intro/install.html##intro-install-platform-notes **里面有各个平台的安装方法
1.2.2 全局命令
$ scrapy
Scrapy 1.7.3 - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
## 测试电脑性能。
fetch Fetch a URL using the Scrapy downloader
## 将源代码下载下来并显示出来
genspider Generate new spider using pre-defined templates
## 创建一个新的 spider 文件
runspider Run a self-contained spider (without creating a project)
## 这个和通过crawl启动爬虫不同,scrapy runspider 爬虫文件名称
settings Get settings values
## 获取当前的配置信息
shell Interactive scraping console
## 进入 scrapy 的交互模式
startproject Create new project
## 创建爬虫项目。
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
## 将网页document内容下载下来,并且在浏览器显示出来
[ more ] More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
项目命令
-
scrapy startproject projectname
创建一个项目
-
scrapy genspider spidername domain
创建爬虫。创建好爬虫项目以后,还需要创建爬虫。
-
scrapy crawl spidername
运行爬虫。注意该命令运行时所在的目录。
1.3 第一个scrapy爬虫
1.3.1 项目需求
在专门供爬虫初学者训练爬虫技术的网站(http://quotes.toscrape.com)上爬取名言警句。
1.3.2 创建项目
在开始爬取之前,必须创建一个新的 Scrapy 项目。 进入您打算存储代码的目录中,运行下列命令:
(base) λ scrapy startproject quotes
New Scrapy project 'quotes', using template directory 'd:\anaconda3\lib\site-packages\scrapy\templates\project', created in:
D:\课程-爬虫课程\02 框架爬虫\备课代码-框架爬虫\quotes
You can start your first spider with:
cd quotes
scrapy genspider example example.com
首先切换到新建的爬虫项目目录下,也就是 /quotes
目录下。然后执行创建爬虫的命令:
D:\课程-爬虫课程\02 框架爬虫\备课代码-框架爬虫 (master)
(base) λ cd quotes\
D:\课程-爬虫课程\02 框架爬虫\备课代码-框架爬虫\quotes (master)
(base) λ scrapy genspider quotes quotes.com
Cannot create a spider with the same name as your project
D:\课程-爬虫课程\02 框架爬虫\备课代码-框架爬虫\quotes (master)
(base) λ scrapy genspider quote quotes.com
Created spider 'quote' using template 'basic' in module:
quotes.spiders.quote
该命令将会创建包含下列内容的 quotes
目录:
quotes
│ items.py
│ middlewares.py
│ pipelines.py
│ settings.py
│ __init__.py
│
├─spiders
│ quote.py
│ __init__.py
1.3.3 robots.txt
robots协议也叫robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的网络蜘蛛,此网站中的哪些内容是不应被搜索引擎的爬虫获取的,哪些是可以被爬虫获取的。
robots 协议并不是一个规范,而只是约定俗成的。
# filename:settings.py
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
1.3.4 分析页面
编写爬虫程序之前,首先需要对待爬取的页面进行分析,主流的浏览器中都带有分析页面的工具或插件,这里我们选用Chrome浏览器的开发者工具(Tools→Developer tools)分析页面。
1.数据信息
在Chrome浏览器中打开页面http://quotes.toscrape.com,然后选择“审查元素”,查看其HTML代码。
可以看到每一个标签都包裹在
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XlkxDijO-1601297649489)(assets/image-20200108203912296.png)]
1.3.5 编写spider
分析完页面后,接下来编写爬虫。在Scrapy中编写一个爬虫,在 scrapy.Spider 中编写代码
Spider 是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始URL,如何跟进网页中的链接以及如何分析页面中的内容, 提取生成 item 的方法。
为了创建一个Spider,您必须继承 scrapy.Spider 类, 且定义以下三个属性:
- name: 用于区别Spider。 该名字必须是唯一的,您不可以为不同的Spider设定相同的名字。
- start_urls: 包含了Spider在启动时进行爬取的url列表。 因此,第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
- parse(): 是 spider 的一个方法。 被调用时,每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
import scrapy
class QuoteSpider(scrapy.Spider):
name = 'quote'
allowed_domains = ['quotes.com']
start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
pass
下面对 quote 的实现做简单说明。
重点:
name
是爬虫的名字,是在genspider
的时候指定的。
-
allowed_domains
是爬虫能抓取的域名,爬虫只能在这个域名下抓取网页,可以不写。 -
start_urls
是Scrapy抓取的网站,是可迭代类型,当然如果有多个网页,列表中写入多个网址即可,常用列表推导式的形式。 -
parse
称为回调函数,该方法中的response就是start_urls
网址发出请求后得到的响应。当然也可以指定其他函数来接收响应。一个页面解析函数通常需要完成以下两个任务:- 提取页面中的数据(re、XPath、CSS选择器)
- 提取页面中的链接,并产生对链接页面的下载请求。
页面解析函数通常被实现成一个生成器函数,每一项从页面中提取的数据以及每一个对链接页面的下载请求都由yield语句提交给Scrapy引擎。
1.3.6 解析数据
import scrapy
...
def parse(self, response):
quotes = response.css('.quote')
for quote in quotes:
text = quote.css('.text::text').extract_first()
auth = quote.css('.author::text').extract_first()
tages = quote.css('.tags a::text').extract()
yield dict(text=text, auth=auth, tages=tages)
重点:
response.css()
直接使用css语法即可提取响应中的数据。
start_urls
中可以写多个网址,以列表格式分割开即可。
extract()
是提取css对象中的数据,提取出来以后是列表,否则是个对象。并且对于extract_first()
是提取第一个
1.3.7 运行爬虫
在 /quotes
目录下运行scrapy crawl quotes
即可运行爬虫项目。
运行爬虫之后发生了什么?
Scrapy 为 Spider的 start_urls
属性中的每个URL创建了 scrapy.Request 对象,并将 parse 方法作为回调函数(callback)赋值给了Request。
Request对象经过调度,执行生成 scrapy.http.Response 对象并送回给 spider parse() 方法进行处理。
完成代码后,运行爬虫爬取数据,在shell中执行scrapy crawl <SPIDER_NAME>命令运行爬虫’quote’,并将爬取的数据存储到csv文件中:
(base) λ scrapy crawl quote -o quotes.csv
2020-01-08 20:48:44 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: quotes)
....
等待爬虫运行结束后,就会在当前目录下生成一个 quotes.csv 的文件,里面的数据已 csv 格式存放。
-o
支持保存为多种格式。保存方式也非常简单,只要给上文件的后缀名就可以了。(csv、json、pickle等)
2. Scrapy 框架结构
思考
- scrapy 为什么是框架而不是库?
- scrapy 是如何工作的?
2.1 项目结构
在开始爬取之前,必须创建一个新的 Scrapy 项目。 进入您打算存储代码的目录中,运行下列命令:
注意:创建项目时,会在当前目录下新建爬虫项目的目录。
这些文件分别是:
scrapy.cfg
: 项目的配置文件quotes/
: 该项目的python模块。之后您将在此加入代码。quotes/items.py
: 项目中的item文件.quotes/middlewares.py
: 爬虫中间件、下载中间件(处理请求体与响应体)quotes/pipelines.py
: 项目中的pipelines文件.quotes/settings.py
: 项目的设置文件.quotes/spiders/
: 放置spider代码的目录.
Scrapy原理图
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qGCOD0tQ-1601297649495)(assets/1562376654660.png)]
2.1 各个组件的介绍
-
Engine。引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。
-
Item。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象。
-
Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求的时候将请求提供给引擎。
-
Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛。
-
Spiders。 蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提结果和新的请求。
-
Item Pipeline。项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。
-
Downloader Middlewares。下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引擎与下载器之间的请求及响应。
-
Spider Middlewares。 蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的响应和输出的结果及新的请求。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TrqyCbDX-1601297649499)(assets/1562378092665.png)]
2.2 数据的流动
- Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
- Scheduler(调度器): 负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
- Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
- Spider(爬虫):负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器),
- Item Pipeline(管道):负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方.
- Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。
- Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)
3. scrapy.Spider
Spider 类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
对spider来说,爬取的循环类似下文:
-
以初始的URL初始化Request,并设置回调函数。 当该request下载完毕并返回时,将生成response,并作为参数传给该回调函数。
spider中初始的request是通过调用 start_requests()来获取的。 start_requests() 读取 start_urls 中的URL, 并以 parse 为回调函数生成 Request。
-
在回调函数内分析返回的(网页)内容,返回 Item 对象或者 Request 或者一个包括二者的可迭代容器。 返回的Request对象之后会经过Scrapy处理,下载相应的内容,并调用设置的callback函数(函数可相同)。
-
在回调函数内,您可以使用 选择器(Selectors) (您也可以使用BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容,并根据分析的数据生成item。
-
最后,由spider返回的item将被存到数据库(由某些 Item Pipeline处理)或使用 Feed exports存入到文件中。
虽然该循环对任何类型的spider都(多少)适用,但Scrapy仍然为了不同的需求提供了多种默认spider。 之后将讨论这些spider。
3.1 Spider
scrapy.spider.Spider 是最简单的spider。每个其他的spider必须继承自该类(包括Scrapy自带的其他spider以及您自己编写的spider)。 其仅仅请求给定的 start_urls / start_requests ,并根据返回的结果(resulting responses)调用 spider 的 parse 方法。
name
定义 spider 名字的字符串(string)。spider 的名字定义了 Scrapy 如何定位(并初始化) spider ,所以其必须是唯一的。 不过您可以生成多个相同的 spider 实例(instance),这没有任何限制。 name 是 spider 最重要的属性,而且是必须的。
如果该 spider 爬取单个网站(single domain),一个常见的做法是以该网站(domain)(加或不加后缀 )来命名 spider 。 例如,如果 spider 爬取 mywebsite.com
,该spider通常会被命名为 mywebsite
。
allowed_domains
可选。包含了spider允许爬取的域名(domain)列表(list)。 当 OffsiteMiddleware 启用时, 域名不在列表中的URL不会被跟进。
start_urls
URL 列表。当没有制定特定的 URL 时,spider 将从该列表中开始进行爬取。 因此,第一个被获取到的页面的 URL 将是该列表之一。 后续的 URL 将会从获取到的数据中提取。
start_requests()
该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个 Request。
当 spider 启动爬取并且未制定 URL 时,该方法被调用。 当指定了URL时,make_requests_from_url() 将被调用来创建 Request 对象。 该方法仅仅会被 Scrapy 调用一次,因此您可以将其实现为生成器。
该方法的默认实现是使用 start_urls 的url生成 Request。
如果您想要修改最初爬取某个网站的Request对象,您可以重写(override)该方法。 例如,如果您需要在启动时以 POST 登录某个网站,你可以这么写:
def start_requests(self):
return [scrapy.FormRequest("http://www.example.com/login",
formdata={
'user': 'john', 'pass': 'secret'},
callback=self.logged_in)]
def logged_in(self, response):
## here you would extract links to follow and return Requests for
## each of them, with another callback
pass
parse
当response没有指定回调函数时,该方法是Scrapy处理下载的response的默认方法。
parse
负责处理response并返回处理的数据以及(/或)跟进的URL。 Spider 对其他的Request的回调函数也有相同的要求。
该方法及其他的Request回调函数必须返回一个包含 Request 及(或) Item 的可迭代的对象。
参数: response– 用于分析的response
closed(reason)
当spider关闭时,该函数被调用。
3.2 启动方式
3.2.1 start_urls
start_urls 是一个列表
3.2.2 start_requests
使用start_requests()
重写start_urls
,要使用Request()
方法自己发送请求:
def start_requests(self):
"""重写 start_urls 规则"""
yield scrapy.Request(url='http://quotes.toscrape.com/page/1/', callback=self.parse)
3.2.3 scrapy.Request
scrapy.Request 是一个请求对象,创建时必须制定回调函数。
3.2.4 数据保存
可以使用 -o 将数据保存为常见的格式(根据后缀名保存)
支持的格式有下面几种:
- json
- jsonlines
- jl
- csv
- xml
- marshal
- pickle
使用方式:
scrapy crawl quotes2 -o a.json
案例:Spider 样例
让我们来看一个例子:
## -*- coding: utf-8 -*-
import scrapy
class Quotes2Spider(scrapy.Spider):
name = 'quotes2'
allowed_domains = ['toscrape.com']
start_urls = ['http://quotes.toscrape.com/page/2/']
def parse(self, response):
quotes = response.css('.quote')
for quote in quotes:
text = quote.css('.text::text').extract_first()
auth = quote.css('.author::text').extract_first()
tages = quote.css('.tags a::text').extract()
yield dict(text=text,auth=auth,tages=tages)
3.2.5 url拼接
import urllib.parse
urllib.parse.urljoin('http://quotes.toscrape.com/', '/page/2/')
Out[6]: 'http://quotes.toscrape.com/page/2/'
urllib.parse.urljoin('http://quotes.toscrape.com/page/2/', '/page/3/')
Out[7]: 'http://quotes.toscrape.com/page/3/'
4. scrapy.Request
Request 和 Response 对象,用于爬网网站。
Request对象用来描述一个HTTP请求,下面是其构造器方法的参数列表:
Request(url, callback=None, method='GET', headers=None, body=None,
cookies=None, meta=None, encoding='utf-8', priority=0,
dont_filter=False, errback=None, flags=None, cb_kwargs=None)
- url(字符串)–此请求的URL
- callback(callable)–将以请求的响应(一旦下载)作为第一个参数调用的函数。有关更多信息,请参见下面的将其他数据传递给回调函数。如果“请求”未指定回调,parse() 则将使用“Spider” 方法。请注意,如果在处理过程中引发异常,则会调用errback。
- method(字符串)–此请求的HTTP方法。默认为
'GET'
。 - meta(dict)– Request.meta属性的初始值。如果给出,则在此参数中传递的字典将被浅表复制。
- headers(dict)–请求头。dict值可以是字符串(对于单值标头)或列表(对于多值标头)。如果
None
作为值传递,则将根本不发送HTTP标头。
import scrapy
from urllib import parse
class Quotes3RequestSpider(scrapy.Spider):
name = 'quotes3'
allowed_domains = ['toscrape.com']
start_urls = ['http://quotes.toscrape.com/page/1/']
def parse(self, response):
quotes = response.css('.quote')
for quote in quotes:
text = quote.css('.text::text').extract_first()
auth = quote.css('.author::text').extract_first()
tages = quote.css('.tags a::text').extract()
yield dict(text=text, auth=auth, tages=tages)
next_url = response.css('.next a::attr(href)').extract_first()
next_url = parse.urljoin(response.request.url, next_url)
print(next_url)
yield scrapy.Request(url=next_url, callback=self.parse)
4.1 meta的使用
meta 参数主要用于在两个函数之间传递参数
meta 一次性的,每次创建 request 对象,都会重新创建
meta是一个字典,它的主要作用是用来传递数据的,meta = {‘key1’:value1},如果想在下一个函数中取出 value1, 只需得到上一个函数的 meta[‘key1’] 即可, 因为meta是随着Request产生时传递的,下一个函数得到的Response对象中就会有meta,即 response.meta。
请瞧下面的简单例子更好的帮助理解。
class Win4000Spider(scrapy.Spider):
name = 'win4000'
allowed_domains = ['win4000.com'] # 大规模采集
start_urls = ['http://www.win4000.com/mobile_detail_169064.html']
def parse(self, response):
item = Win4000Item()
item['title'] = response.css('h1::text').get()
item['img_urls'] = response.css('.pic-large::attr(src)').getall()
print('item', item)
# 这个 item 先不返回 只有一个下载地址
# yield item
next_page = response.css('.pic-next-img a::attr(h