Python爬虫入门【17】：高考派大学数据抓取 scrapy

1.高考派大学数据----写在前面

写到终于了scrapy爬虫框架了，这个框架可以说是蟒爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。

安装过程自己百度一下，就能找到3种以上的安装手法，一个哪都可以安装上
可以参考https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html官方说明进行安装。

2.高考派大学数据----创建scrapy项目

通用使用下面的命令，创建即可

scrapy startproject mySpider

完成之后，你的项目的目录结构为

每个文件对应的意思为

• scrapy.cfg项目的配置文件
• mySpider /根目录
• mySpider / items.py项目的目标文件，规范数据格式，用来定义解析对象对应的属性或字段。
• mySpider / pipelines.py项目的管道文件，负责处理被蜘蛛提取出来的项目。典型的处理有清理，验证及持久化（例如存取到数据库）
• mySpider / settings.py项目的设置文件
• mySpider / spiders /爬虫主目录
• *middlewares.py Spider中间件是在引擎及Spider之间的特定钩子（具体钩子），处理蜘蛛的输入（响应）和输出（items及requests）。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。*本篇文章没有涉及

高考派大学数据----创建Scrapy爬虫

通过命令行进入到mySpider / spiders /目录，然后执行如下命令

scrapy genspider 高考 “ www.gaokaopai.com ”

打开mySpider / spiders /目录里面的高考，默认增加了下列代码

import scrapy

class GaoKaoSpider(scrapy.Spider):
    name = "GaoKao"
    allowed_domains = ["www.gaokaopai.com"]
    start_urls = ['http://www.gaokaopai.com/']

    def parse(self, response):
        pass

默认生成的代码，一个所有游戏GaoKaoSpider的类，这个并且类的英文用scrapy.Spider继承来的
而且默认实现了三个属性状语从句：一个方法

name =“”这个是爬虫的名字，必须唯一，在不同的爬虫需要定义不同的名字
allowed_domains = []域名范围，限制爬虫爬取当前域名下的网页
start_urls = []爬取的URL元组/列表。爬虫从这里开始爬取数据，第一次爬取的页面就是从这里开始，其他的URL将会从这些起始的URL爬取的结果中生成
解析（self&#