网络爬虫Scrapy

网络爬虫Scrapy

sf2gis@163.com

2015年4月28日

 

1  目标：批量下载网页内容

2 原理：发送get，接受Response，然后提取信息。

3 方法: scrapy

参考：http://blog.pluskid.org/?p=366

3.1 安装

请参考官网：https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/tutorial.html。

3.1.1安装scrapy

python,pip,setuptools,lxml,openSSL。

3.1.2Windows（win7）补充安装：

1)   安装service_identify:pip service_identity

2)   安装pywin32: https://pypi.python.org/pypi/pywin32下载对应python版本的程序。

3.2 使用

3.2.1创建下载项目

scrapy startproject tutorial

3.2.2创建下载规则（Spider爬虫）

3.2.2.1  创建scrapy.Spider的子类作为爬虫：在Spiders下创建新Spider类。

设置爬虫名称：Spider.name

设置下载地址列表：Spider.starturls

下载数据的组织：Spider.parse()

在parse（）中要将response的数据进行分解，可以使用selector选择其中的数据。将数据组织与items.py中的数据Items格式，并返回。结果将保存在指定的-o文件中。

3.2.2.2  创建数据组织类：修改items.py，创建组织结构（类）

创建scrapy.Field（）类型的数据成员。

3.2.3开始下载：scrapy crawl dmoz

3.2.4开始下载并保存数据：scrapy crawl dmoz -oitems.json

3.3 调试方法:IPython的scrapy shell交互式调试

在程序中每次的response返回后进行调试。

scrapy shell "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/"

3.4 示例

//spidesrs/dmoz_spider.py

import scrapy

from tutorial.items import DmozItem

class DmozSpider(scrapy.Spider):

    name = "dmoz"

    allowed_domains = ["dmoz.org"]

    start_urls = [

        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",

        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"

    ]

    def parse(self, response):

        filename = response.url.split('/')[-2]

        with open(filename,'wb') as f:

            f.write(response.body)

        for sel in response.xpath("//ul/li"):

            item = DmozItem()

            item['title'] = sel.xpath("a/text()").extract()

            item['link'] = sel .xpath("a/@href").extract()

            item['desc'] = sel.xpath("text()").extract()

            yield item

//items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items

#

# See documentation in:

# http://doc.scrapy.org/en/latest/topics/items.html

import scrapy

class TutorialItem(scrapy.Item):

    # define the fields for your item here like:

    # name = scrapy.Field()

    pass

class DmozItem(scrapy.Item):

    title = scrapy.Field()

    link = scrapy.Field()

    desc = scrapy.Field()