2018-11-07 Scrapy 实战（２）－－数据存储

文章由本人博客首发转载请注明链接：http://qinfei.glrsmart.com/2018/11/07/scrapy-shi-zhan-2-items/

我们改进一下上一节里面的爬虫, 辛辛苦苦爬到了数据, 我想很多童鞋不是用来 print 的吧, 我们把它存储起来以便他日使用才是正确的姿势.

来来来,小白童鞋看过来, 老鸟欢迎吐槽...

爬虫

上一节的爬虫我们这样写的:

# -*- coding: utf-8 -*-
import scrapy


class FirstSpider(scrapy.Spider):  
    '''
    第一个爬虫
    '''
    name = 'jys_seg'
    allowed_domains = ['domain']
    start_urls = ['http://domain:port/mweb/index.php']

    def parse(self, response):
        # 筛选中间表格内容, 用这些表格逐条爬取
        # print(os.getcwd())
        segs = response.xpath('//div[@class="mui-media-body"]/text()').extract()
        for seg in segs:
            print(seg)

我们改一改:

import scrapy
from ..items import BodySegItem


class JysSpider(scrapy.Spider):
    '''
    第一个爬虫
    '''
    name = 'jys_seg'
    allowed_domains = ['domain']
    start_urls = ['http://domain:port/mweb/index.php']

    def parse(self, response):
        # 筛选中间表格内容, 用这些表格逐条爬取
        # print(os.getcwd())
        segs = response.xpath('//div[@class="mui-media-body"]/text()').extract()
        for seg in segs:
            seg_item = BodySegItem()
            seg_item["seg"] = seg
            yield seg_item

Item

看到不一样了吗? 多了个 Item 类

用过 ORM 的童鞋应该知道, 在使用 sqlalchemy 的时候, 我们设计好了数据库结构, 还是要建 ORM 来告诉 python 你的数据库结构,否则你只能用原生的sql语言来操作sql.

from . import Base
from sqlalchemy import Column, String, Integer
# from sqlalchemy.orm import relationship


class BodySeg(Base):
    __tablename__ = 'body_seg'

    id = Column(Integer, nullable=False, primary_key=True, autoincrement=True)
    seg_name = Column(String(32), nullable=True)
    # organ = relationship("Organ", order_by="Organ.id", backref="body_seg")

上面这一段并没有设么卵用,只是让你看一下 ORM 是干嘛的,同时下面贴出来我们的 Item 作对比:

class BodySegItem(scrapy.Item):
    seg = scrapy.Field()

注意一点 scrapy 没有 sqlalchemy 里面那么多类型,只有 scrapy.Field() 一种,这倒是简单了.

写完了 Item 不知道怎么用?

只要在爬虫类里面实例化 Item 然后 yield 返回数据就可以啦:

seg_item = BodySegItem()
seg_item["seg"] = seg
yield seg_item

字段要够哦.

有了 Item 之后,我们开始读取传入　Item　的数据

Pipeline

Item 只是描述数据长成什么样子，　Pipeline 才是处理数据的地方，所有的数据都会经过所有在配置文件中启用的　Pipeline(注意重点)．

我们先编写　pipeline:

class BodySegPipeline:
    def process_item(self, item, spider):
        """
        处理大类数据

        这个方法必须实现，每个item pipeline组件都需要调用该方法，
        这个方法必须返回一个 Item 对象
        被丢弃的item将不会被之后的pipeline组件所处理。

        :param item: item (Item 对象) – 被爬取的item
        :param spider: (Spider 对象) – 爬取该item的spider
        :return:
        """
        if isinstance(item, BodySegItem):
            body_seg.add(seg_name=item["seg"])
        return item

不用看注释，　直接看下面的代码，其实可以直接　print(item["seg"])，这里讲一下为什么这么写，if isinstance(item, BodySegItem) 这一句是为了　item　在这里经过的时候,　只处理　BodySegItem　里面的数据，其他数据直接　return， 自动流到下一个　pipeline，　body_seg.add(seg_name=item["seg"]) 这句请忽略，是为了保存数据到数据库，这后面关系的东西太多，新手入门的话直接在这里把数据保存到文件就好啦，我们后面也会讲到　sqlalchemy　来存储数据哦，不要心急．

pipeline　写好了，下面启用就好啦, 在 settings 文件里面：

ITEM_PIPELINES = {
    'JiYS.pipelines.BodySegPipeline': 300,
}

这样写完之后就好啦，数据被　spider　爬取到之后就会封装成　Item　传递给管道（pipeline）　由 pipeline 处理啦．