学习Scrapy入门

最新推荐文章于 2023-03-23 10:25:25 发布

universe_ant

最新推荐文章于 2023-03-23 10:25:25 发布

阅读量614

点赞数

文章标签：网络爬虫

Scrapy 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Scrapy介绍

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。

所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述为，抓取特定网站的HTML数据。抓取网页的一般方法是，定义一个入口网页，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。

Scrapy使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活地完成各种需求。

整体架构

引擎(Scrapy Engine)，用来处理整个系统的数据流处理，触发事务。
调度器(Scheduler)，用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。
下载器(Downloader)，用于下载网页内容，并将网页内容返回给蜘蛛。
蜘蛛(Spider)，蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。编写用于分析response并提起item(即获取到的item)或额外跟进的URL的类。每个Spider负责处理一个特定(或一些)网站。
项目管道(Item Pipeline)，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载中间件(Downloader Middlewares)，位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
蜘蛛中间件(Spider Middlewares)，介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middlewares)，介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

爬取流程

上图中的绿线是数据流向，首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载之后会交给Spider进行分析，Spider分析出来的结果有两种：一种是需要进一步抓取的链接，这些链接会被传回Scheduler；另一种是需要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理(详细分析、过滤、存储等)的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。

数据流

Scrapy中的数据流由执行引擎控制，其过程如下：

引擎打开一个网站(open a domain)，找到该网站的Spider并向该Spider请求第一个要爬取的URL(s)。
引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
引擎向调度器请求下一个要爬取的URL。
调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。
(从第二步)重复直到调度器中没有更多的Request，引擎关闭该网站。

Scrapy项目基本流程

1.默认的Scrapy项目结构

使用全局命令startproject创建项目，在myproject文件夹下创建一个名为myproject的Scrapy项目。

scrapy startproject myprojet

虽然可以修改，但所有的Scrapy项目默认有类似于下边的文件结构：

scrapy.cfg存放的目录被认为是项目的根目录。该文件中包含Python模块名的字段定义了项目的设置。

2.定义要抓取的数据

Item是保存爬去到的数据的容器；其使用方法和Python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

类似在ORM中做的一样，您可以通过创建一个scrapy.Item类，并且定义类型为scrapy.Field的类属性来定义一个Item。

首先根据需要从dmoz.org(DMOZ网站是一个著名的开放式分类目录(Open Directory Project)，由来自世界各地的志愿者共同维护与建设的最大的全球目录社区)获取到的数据对item进行建模。我们需要从dmoz中获取名字，url，以及网站的描述。对此，在item中定义相应的字段。编辑items.py文件：

import scrapy


class MyprojectItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

3.使用项目命令genspider创建Spider

scrapy genspider [-t template] <name> <domain>

在当前项目中创建spider。

这仅仅是创建spider的一种快捷方式。该方法可以使用提前定义好的模版来生成spider。

您也可以自己创建spider的源码文件。

$ scrapy genspider -l
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider -d basic
import scrapy

class $classname(scrapy.Spider):
    name = "$name"
    allowed_domains = ["$domain"]
    start_urls = (
        'http://www.$domain/',
        )

    def parse(self, response):
        pass

$ scrapy genspider -t basic example example.com
Created spider 'example' using template 'basic' in module:
  mybot.spiders.example

4.编写提取item数据的Spider

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容，提取生成 item 的方法。
为了创建一个Spider，您必须继承 scrapy.Spider 类，且定义以下三个属性:

name: 用于区别Spider。该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
start_urls: 包含了Spider在启动时进行爬取的url列表。因此，第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取。
parse() 是spider的一个方法。被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

5.进行爬取

执行项目命令crawl，启动Spider：

scrapy crawl dmoz

在这个过程中：

Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。
Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

6.通过选择器提取数据

Selectors选择器简介：
Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。
XPath 是一门用来在XML文件中选择节点的语言，也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。

XPath表达式的例子和含义：

/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

提取数据：

观察HTML源码并确定合适的XPath表达式。
在查看了网页的源码后，您会发现网站的信息是被包含在第二个元素中。

我们可以通过这段代码选择该页面中网站列表里所有元素:

response.xpath('//ul/li')

Item 对象是自定义的python字典。您可以使用标准的字典语法来获取到其每个字段的值。

一般来说，Spider将会将爬取到的数据以 Item 对象返回。所以为了将爬取的数据返回，我们最终的代码将是:

import scrapy

from tutorial.items import DmozItem

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            item = DmozItem()
            item['title'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()
            item['desc'] = sel.xpath('text()').extract()
            yield item

现在对dmoz.org进行爬取将会产生DmozItem对象。

7.保存数据
最简单存储爬取的数据的方式是使用 Feed exports:

scrapy crawl dmoz -o items.json

该命令将采用JSON格式对爬取的数据进行序列化，生成items.json文件。

如果需要对爬取到的item做更多更为复杂的操作，您可以编写 Item Pipeline 。类似于我们在创建项目时对Item做的，用于您编写自己的 tutorial/pipelines.py 也被创建。不过如果您仅仅想要保存item，您不需要实现任何的pipeline。

universe_ant

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
学习Scrapy入门

Scrapy介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述为，抓取特定网站的HTML数据。抓取网页的一般方法是，定义一个入口网页，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓
复制链接

扫一扫