scrapy学习笔记0828-下

1.爬取动态页面

我们遇见的大多数网站不大可能会是单纯的静态网站，实际中更常见的是JavaScript通过HTTP请求跟网站动态交互 获取数据（AJAX），然后使用数据更新HTML页面。爬取此类动态网 页需要先执行页面中的JavaScript代码渲染页面，再进行爬取。

在这里我们采用scrapy官方推荐的Splash渲染引擎，我们需要通过docker来安装splash并使其运行起来，这里就暂时不展开，安装好splash之后还需要安装调用库，

pip install scrapy-splash

在settings.py中开启splash的配置

# settings.py

# Splash 服务器地址
SPLASH_URL = 'http://localhost:8050'

# 开启 Splash 的两个下载中间件并调整 HttpCompressionMiddleware 的次序
DOWNLOADER_MIDDLEWARES = {
    'scrapy_splash.SplashCookiesMiddleware': 723,
    'scrapy_splash.SplashMiddleware': 725,
    'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}

# 设置去重过滤器
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

# 如果你使用 Splash 的 Http 缓存，还需要指定一个自定义的缓存后台存储介质
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

 运行代码如下，

# -*- coding: utf-8 -*
import scrapy
from scrapy_splash import SplashRequest


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    allowed_domains = ["quotes.toscrape.com"]
    start_urls = ["http://quotes.toscrape.com/js/"]

    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url, args={"images": 0, "timeout": 3})

    def parse(self, response):
        for sel in response.css("div.quote"):
            quote = sel.css("span.text::text").extract_first()
            author = sel.css("small.author::text").extract_first()
            yield {"quote": quote, "author": author}
        href = response.css("li.next > a::attr(href)").extract_first()
        if href:
            url = response.urljoin(href)
            yield SplashRequest(url, args={"images": 0, "timeout": 3})

1. 端点（Endpoint）：

   • Splash 提供了一个 HTTP API，你可以通过发送 HTTP 请求到 Splash 服务器的特定端点来实现不同的功能。以下是一些常用的端点：
     • /execute：执行 Lua 脚本。
     • /render.html：渲染页面并返回 HTML 源码。
     • /render.png：渲染页面并返回截图（PNG 格式）。
     • /render.json：渲染页面并返回 JSON 格式的详细信息，包括加载过程、资源等。

2. 参数（Arguments）：

   • 你可以在请求中传递不同的参数来控制 Splash 的行为。例如：
     • url：要渲染的页面 URL。
     • wait：等待加载的时间（秒）。
     • lua_source：要执行的 Lua 脚本。
     • images：是否加载图像。
     • 其他自定义参数。

3. 属性（Attributes）：

   • Splash 的响应中包含了一些有用的属性，例如：
     • html：渲染后的 HTML 源码。
     • png：渲染后的截图（PNG 格式）。
     • har：加载过程的详细信息（HTTP Archive 格式）。

4. 方法（Methods）：

   • Splash 提供了一些方法，例如：
     • splash:go(url)：加载指定的 URL。
     • splash:wait(time)：等待指定的时间。
     • splash:runjs(js_code)：执行 JavaScript 代码。
     • 其他自定义方法。

splash可以执行我们自定义的lua代码，通过excute端点。

2.最重要的分布式爬取

由于受到计算能力和网络带宽的限制，单台计算机上运行的爬虫在 爬取的数据量较大时，需要耗费很长的时间。分布式爬取的思想是“人 多力量大”，在网络中的多台计算机上同时运行爬虫程序，共同完成一 个大型爬取任务。

Scrapy本身并不是一个为分布式爬取而设计的框架，但第三方库 scrapy-redis为其拓展了分布式爬取的功能，两者结合便是一个分布式 Scrapy爬虫框架。在分布式爬虫框架中，需要使用某种通信机制协调 各个爬虫的工作，让每一个爬虫明确自己的任务，其中包括： （1）当前的爬取任务，即下载+提取数据（分配任务）。 （2）当前爬取任务是否已经被其他爬虫执行过（任务去重）。 （3）如何存储爬取到的数据（数据存储）。 scrapy-redis利用Redis数据库作为多个爬虫的数据共享实现以上 功能，接下来我们学习如何使用scrapy-redis进行分布式爬取。

pip install redis
pip install scrapy-redis

首先我们需要多台主机，其中一台安装redis作为我们的主要节点，同时要修改redis配置文件，将绑定地址设置为0.0.0.0

在配置文件settings.py中添加scrapy-redis的相关配置

 # 必选项
     # ==================================================================
     # 指定爬虫所使用的Redis数据库（在云服务器116.29.35.201 上）
     REDIS_URL = 'redis://116.29.35.201:6379'
     # 使用scrapy_redis的调度器替代Scrapy 原版调度器
     SCHEDULER = "scrapy_redis.scheduler.Scheduler"
     # 使用scrapy_redis的RFPDupeFilter作为去重过滤器
     DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
     # 启用scrapy_redis的RedisPipeline将爬取到的数据汇总到Redis数据库
     ITEM_PIPELINES = {
        'scrapy_redis.pipelines.RedisPipeline': 300,
     }
     # 可选项
     # ==================================================================
     #爬虫停止后，保留／清理Redis中的请求队列以及去重集合
     # True：保留，False：清理，默认为False
     SCHEDULER_PERSIST = True

之后，想要把我们的单机代码修改为分布式版本，只需要做如下修改

 from scrapy_redis.spiders import RedisSpider
     # 1.更改基类
     # class BooksSpider(spider.Spider):
     class BooksSpider(RedisSpider):
        ...
        # 2.注释start_urls
        #start_urls = ['http://books.toscrape.com/']

完成！并不需要大修大改，其他的请求调度，入队出队全部都在scrapy-redis中完成了.

之后在你的服务器上运行scrapy即可！

运行后，由于Redis中的起始爬取点列表和请求队列都是空的，3 个爬虫都进入了暂停等待的状态，因此在任意主机上使用Redis客户端 设置起始爬取点

 $ redis-cli -h 116.29.35.201
     116.29.35.201:6379> lpush books:start_urls 'http://books.toscrape.com/
     (integer) 1

完成之后便可以在redis中看到我们爬取到的数据