增量式爬虫

爬取读书网信息

查找url规律

查看底部的导航栏
右键检查元素,不能确定一共有多少页数

所以引进一个新的概念 增量式爬虫

增量式爬虫项目

1、新建爬虫项目

打开黑屏终端,找到要保存的路径,输入命令

scrapy startproject DushuPro

2、配置setting .py文件

1 将请求头改为浏览器的请求头
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'

2 将robot协议改为False,不遵循协议
 ROBOTSTXT_OBEY = False
 
3 将下载时延开启
 DOWNLOAD_DELAY = 2

3、创建爬虫文件

3.1 新建爬虫文件的时候将命令换成

scrapy genspider -t crawl dushu dushu.com

1. 在scrapy中有很多的爬虫模板，这些爬虫基于basic爬虫模板进行扩展（例如：crawl模板，Feed模板等），这些模板经过扩展以后可以更好的实现一些复杂的功能，常用的crawl模板是增量式爬虫模板
2. basic模板的爬虫的工作机制：引擎从爬虫的start_urls中提取出起始url，然后将这些起始的url放入调度器来调度
3. 增量式模板的爬虫工作机制：首先以start_urls中的url为起点，从这些url中请求网页，然后从这些网页源码中根据一定的规则来匹配出若干个url，然后把这若干个url加入调度队列；每请求一个新的页面都会根据某种预先设计的规则匹配新的url，并且加入到调度队列直至所有的符合规则的url被匹配完

这里做一下扩展,这些文件可以在项目中找到

3.2 确定要爬取的网页的url

查看dushu .py 文件
可以发现,class中比以往的爬虫项目多了一些内容 rules属性
通过rules根据一定的规则从网页上提取相应的url
三种方式:

1. allow代表用正则来匹配，值就是某正则
   多点击几页,观察url变化的规律
   
   所以只是变换了数字,正则匹配用**d+**去匹配所有的页面
2. restrict_xpaths代表用xpath来匹配，值就是某xpath路径
3. restrict_css代表用css来匹配，值就是某css选择器
   
   用css和xpath在匹配的时候只需要匹配到a标签，增量爬虫会自动的把a标签中的href属性取出来然后转成绝对url路径,这是框架底层的功能,比我们手写更加智能了一些

dushu .py

import scrapy
from scrapy.linkextractors import LinkExtractor
# 根据一定的规则从网页上提取新的url

from scrapy.spiders import CrawlSpider, Rule
# CrawlSpider是增量式爬虫了基类，这个类是scrapy.Spider的一个派生类，并且对基础爬虫做了增量式的功能的扩展
# Rule用于规定规则，并且安照规则匹配的url进行调度


class DushuSpider(CrawlSpider):
    name = 'dushu'
    allowed_domains = ['dushu.com']
    start_urls = ['https://www.dushu.com/book/1002.html']

    rules = (
        Rule(LinkExtractor(allow=r"/book/1002_\d+\.html"), callback='parse_item', follow=True),
        # Rule(LinkExtractor(restrict_xpaths="//div[@class='pages']//a"), callback='parse_item', follow=True),
        # Rule(LinkExtractor(restrict_css=".pages a"), callback='parse_item', follow=True),
    )
    # rules属性，是一个元组，这个元组中包含了多个Rule对象
    # 每个Rule对象都可以根据其LinkExtractor中匹配出url，发起调度，并且将callback回调函数也对应传过去（callback用字符串来表示）
    # LinkExtractor对象，根据一定规则从当前页面中来匹配url
    # 【注意】1、LinkExtractor匹配出来的url如果是相对路径，会自动转成对应绝对url路径  2、如果当前页面匹配出来的某些url曾经被加入到了调度队列，不会再重复添加

    # allow代表用正则来匹配，值就是某正则
    # restrict_xpaths代表用xpath来匹配，值就是某xpath路径
    # restrict_css代表用css来匹配，值就是某css选择器
    # 用css和xpath在匹配的时候只需要匹配到a标签，增量爬虫会自动的把a标签中的href属性取出来然后转成绝对url路径

    def parse_item(self, response):
        # 解析
        pass

在pycharm的Terminal终端输入命令 scrapy crawl dushu查看终端中的信息,
为什么会出现那么多91呢?并不是页面url匹配重复,左边的才是每个页面
右边的是这个页面是根据哪个页面获取的,比如1~13页,都是根据第一页获取的