python3 学习 Scrapy框架的使用

#1、架构介绍
#Engine。引擎，处理整个系统的数据流、触发事务，是整个框架的核心
#item。项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成Item对象
#Scheduler。调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求时将请求提供给引擎
#Downloader。下载器，下载网页内容，并将网页内容返回给蜘蛛
#Spiders。蜘蛛，其内容定义了爬取的逻辑和网页的解析规则，它主要负责解析响应内容并生产提取结果和新的请求
#Item Pipeline 项目管道，负责处理由蜘蛛从网页中抽取的项目，它的主要任务是清洗、验证和存储数据。
#Downloader Middlewaress. 下载器中间件，位于引擎和蜘蛛之间的钩子框架，主要处理引擎与下载器之间的请求及响应
#Spider Middlewares 蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，主要处理向蜘蛛输入的响应和输出结果及新的请求

# Scrapy 入门

#在cmd中进入一个文件夹，然后输入 scrapy startproject tutorial,这个命令会创建一个tutorial的文件夹，文件夹结构如下：
'''
scrapy.cfg    #Scrapy 部署时的配置文件，定义了项目的配置文件，部署相关信息等内容
tutorial    #项目的模块，需要从这里引入
_init_.py
items.py    #Item的定义，定义爬取的数据结构
middlewares.py  #Middlewares的定义，定义爬取时的中间件
pipelines.py    #piplines的定义，定义数据管道
settings.py     #配置文件
spiders         #放置Spiders的文件夹
_init_.py
'''

#创建Spider

#spider是自己定义的类，Scrapy用它来从网页里爬取内容，并解析抓取的结果。不过这个类必须继承Scrapy提供的Spider类scrapy.Spider,还要定义Spider的名称和起始请求，以及怎样处理爬取后的结果的方法

#也可以使用命令行来创建一个Spider。比如，要生成Quotes这个Spider，可以执行如下命令：

#cd tutorial
#scrapy genspider qutotes qutotes.toscrape.com

#进入刚创建的tutorial文件夹，执行genspider命令，第一个参数是Spider的名称，第二个参数是网站域名，执行完毕后spiders文件夹中多了一个quotes.py文件，内容如下：
'''
# -*- coding: utf-8 -*-
import scrapy


class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    allowed_domains = ['quotes.toscrape.com']
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        pass
'''
#这里有三个属性—name、allowed_domins、start_urls 还有一个方法parse
#name：每个项目唯一的名字，用来区分不同的Spider
#allowed_domains：它是允许爬取的域名，如果初始或后续的的请求连接不是这个域名下的，则请求连接会被过滤掉
#start_urls，它包含了Spider在启动时爬取的爬取的url列表，初始请求是用它来定义的
#parse，它是spider的一个方法，负责解析返回的响应、提取数据或者进一步生成要处理的请求

#创建item

#Item是保存数据的容器，它使用的方法与字典类似，，不过Item添加了额外的保护机制，可以避免拼写或者定义字段错误
#创建Item类需要继承自scrapy.Item类，并且定义类型为scrapy.Field的字段。观察目标网站，发现能提取的内容有text,author,tags
# 定义Item，此时将item修改如下：
'''
import scrapy

class TutorialItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()
    pass
'''

#解析Response

#前面我们看到，parse()方法的参数response是stat_urls里面的连接爬取后的结果。所以在pars（）方法中，我们可以直接对response变量包含的内容进行解析，比如说浏览器请求结果的源代码，或者进一步分析源代码内容，或者找出结果中的连接而得到下一个请求

#首先看网页结构，每一页都有多个class为quote的区块，每个区块内都包含text、author、tags。那么我们先找出所有的quote，然后提取每一个quote中的内容，这里讲parse（）方法内容修改如下
'''
def parse(self,response):
    quotes = response.css('.quote')
    for quote in quotes:
        text  = quote.css('.text::text').extract_first()
        author = quote.css('.author::text').extract_first()
        tags  = quote.css('.tags .tag::text').extract()
'''

#使用Item

# 上文定义了Item，Item可以理解为一个字典，不过在声明时需要实例化。然后依次用刚才解析的结果赋值Item的每一个字段，最后将Item返回即可

#QuotesSpider改写如下：
'''
# -*- coding: utf-8 -*-
import scrapy
from tutorial.items import TutorialItem

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    al