Scrapy框架之初窥门径

最新推荐文章于 2020-06-29 18:38:12 发布

PyBQBZ

最新推荐文章于 2020-06-29 18:38:12 发布

阅读量350

点赞数

分类专栏： Python学习笔记文章标签： Python学习笔记

Python学习笔记专栏收录该内容

2 篇文章 0 订阅

订阅专栏

使用Scrapy抓取一个网站一共需要四个步骤：
1. 创建一个Scrapy项目；
2. 定义Item容器；
3. 编写爬虫；
4. 存储内容。

学习怎么使用Scrapy之前，我们需要先来了解一下Scrapy的架构以及组件之间的交互。下图展现的是Scrapy的架构，包括组件及在系统中发生的数据流（图中绿色箭头）。

这里写图片描述

下面对每个组件都做了简单介绍：

Scrapy Engine
Scrapy引擎是爬虫工作的核心，负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。

调度器（Scheduler）
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

下载器（Downloader）
下载器负责获取页面数据并提供给引擎，而后提供给spider。

Spiders
Spider是Scrapy用户编写用于分析由下载器返回的response，并提取出item和额外跟进的URL的类。 Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化（例如存取到数据库中）。

接下来是两个中间件，它们用于提供一个简便的机制，通过插入自定义代码来扩展Scrapy的功能。

下载器中间件（Downloader middlewares）
下载器中间件是在引擎及下载器之间的特定钩子（specific hook），处理Downloader传递给引擎的response。

Spider中间件（Spider middlewares）
Spider中间件是在引擎及Spider之间的特定钩子（specific hook），处理spider的输入（就是接收来自下载器的response）和输出（就是发送items给item pipeline以及发送requests给调度器）。

创建一个Scrapy项目

在开始爬取之前，您必须创建一个新的Scrapy项目。
进入您打算存储代码的目录中，运行下列命令: scrapy startproject tutorial

该命令将会创建包含下列内容的tutorial目录:

> tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件构成Scrapy爬虫框架，它们分别的作用是:
scrapy.cfg – 项目的配置文件
tutorial/ – 该项目的python模块，之后您将在此加入代码
tutorial/items.py – 项目中的item文件
tutorial/pipelines.py – 项目中的pipelines文件
tutorial/settings.py – 项目的设置文件
tutorial/spiders/ – 放置spider代码的目录

定义Item容器

Item是保存爬取到的数据的容器，其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

首先根据需要从dmoztools.net获取到的数据对item进行建模。比如我们需要从dmoz中获取名字，url网址，以及网站的描述。
对此，我们需要在item中定义相应的字段。

编辑tutorial目录中的items.py文件:

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

编写爬虫

接下来是编写爬虫类Spider，Spider是用户编写用于从网站上爬取数据的类。
其包含了一个用于下载的初始URL，然后是如何跟进网页中的链接以及如何分析页面中的内容，还有提取生成item的方法。

以下为我们的第一个Spider代码，保存在tutorial/spiders目录下的dmoz_spider.py文件中：

import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoztools"
    allowed_domains = ["dmoztools.net"]
    start_urls = [
        "http://www.dmoztools.net/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoztools.netComputers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        with open(filename, 'wb') as f:
            f.write(response.body)

接下来我们把“爬取”分为先“爬”后“取”两个独立的动作展开：

爬

命令行进入tutorial项目的根目录：
cd tutorial

执行下列命令启动spider：
scrapy crawl dmoztools

crawl dmoztools启动用于爬取dmoztools.net的spider，我们将得到类似的输出：

这里写图片描述

查看包含[dmoztools]的输出，可以看到输出的日志中包含定义在start_urls的初始URL，并且与spider中是一一对应的。在日志中可以看到其没有指向其他页面( (referer:None) )。除此之外，更有趣的事情发生了。就像我们parse()函数中指定的那样，有两个包含url所对应的内容的文件被创建了: Book , Resources。

这里写图片描述

刚才发生了什么？
Scrapy为Spider的start_urls属性中每个URL创建了Request对象，并将parse()方法指定为回调函数。Request对象经过调度，执行下载器并生成Response对象反馈回Spider类。

取

爬完整个网页，接下来就是取的过程了。取就是将得到的网页内容提取出我们需要的数据。
在Scrapy中是使用一种基于XPath和CSS的表达式机制: Scrapy Selectors 。

Selector是一个选择器，它有四个基本的方法：
xpath() – 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表。
css() – 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表。
extract() – 序列化该节点为unicode字符串并返回list。
re() – 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

在Shell中尝试Selector选择器

为了介绍Selector的使用方法，接下来我们将要使用内置的Scrapy shell。
你需要先进入项目的根目录，执行下列命令来启动Scrapy shell：
scrapy shell “http://www.dmoztools.net/Computers/Programming/Languages/Python/Books/”

shell的输出类似：

这里写图片描述

在Shell载入后，你将获得response回应，存储在本地变量response中。
所以如果你输入response.body，你将会看到response的body部分，也就是抓取到的页面内容：

这里写图片描述

或者输入response.headers 来查看它的 header部分：

这里写图片描述

selector选择器就是这样一个筛子，你可以使用response.selector.xpath()、response.selector.css()、response.selector.extract()和response.selector.re()这四个基本方法。

使用XPath

XPath是一门在网页中查找特定信息的语言。
所以用XPath来筛选数据，要比使用正则表达式容易些。

这里给出XPath表达式的例子及对应的含义：
/html/head/title – 选择HTML文档中标签内的元素
/html/head/title/text() – 选择上面提到的元素的文字
//td – 选择所有的元素
//div[@class=”mine”] – 选择所有具有class=”mine”属性的div元素

了解更多关于XPath的内容:http://www.w3school.com.cn/xpath/

值得一提的是，response.xpath()、response.css()已经被映射到response.selector.xpath()、response.selector.css()，所以直接使用response.xpath()即可：

这里写图片描述

提取数据

根据item中定义的，我们需要找到（书的）名字，url网址，以及网站的描述。我们要找出他们的规律，然后通过XPath的语法把它们筛选出来。

如果这里不加extract()，xpath()是直接返回一个Selector对象组成的列表。

# 修改spiders/dmoz_spider.py 文件的 parse() 方法
    def parse(self, response):
        # shell帮我们初始化好sel，这里我们要自己初始化
        sel = scrapy.selector.Selector(response)
        sites = sel.xpath('//ul[@class="directory-url"]/li')
        for site in sites:
            title = site.xpath('div[3]/a/div/text()").extract()
            link = site.xpath('div[3]/a/@href').extract()
            desc = site.xpath('div[3]/div/text()').extract()[0].strip()
            print(title, link, desc)

这里写图片描述

使用item

item其实是我们自定义的一个容器，用法跟Python的字典一样。
Spiders将爬取并筛选后的数据存放到item容器中，spider的最终代码应该是这样的：

import scrapy
from tutoria.items import DmozItem
class DmozSpider(scrapy.Spider):
    name = 'dmoztools'
    allowed_domains = ['dmoztools.net']
    start_urls=[
        'http://dmoztools.net/Computers/Programming/Languages/Python/Books/',
        'http://dmoztools.net/Computers/Programming/Languages/Python/Resources/']


    def parse(self,response):
        sel=scrapy.selector.Selector(response)
        sites=sel.xpath('//*[@id="site-list-content"]/div')
        items=[]
        for site in sites:
            item=DmozItem()
            item["title"]=site.xpath("div[3]/a/div/text()").extract()
            item["link"]=site.xpath('div[3]/a/@href').extract()
            item["desc"]=site.xpath('div[3]/div/text()').extract()[0].strip()
            items.append(item)
        return items