Splash抓取javaScript动态渲染页面

最新推荐文章于 2023-06-27 12:29:31 发布

Laicaling

最新推荐文章于 2023-06-27 12:29:31 发布

阅读量276

点赞数

分类专栏：爬虫代理网络爬虫数据采集文章标签：爬虫 python

本文链接：https://blog.csdn.net/Laicaling/article/details/108854448

版权

本文介绍了如何在Scrapy爬虫中利用Splash渲染引擎处理JavaScript动态内容。Splash作为一个Javascript渲染服务，能返回渲染后的HTML，支持多页面渲染且速度快。安装过程包括安装scrapy-splash模块和docker，然后启动docker拉取并运行Splash。

摘要由CSDN通过智能技术生成

scrapy爬虫框架没有js渲染服务，所以我们采集不到数据，这时候我们就需要一个渲染引擎来为我们提供渲染服（Splash渲染引擎）
Splash渲染引擎：
Splash是一个Javascript渲染服务，Splash是为Scrapy爬虫框架提供渲染的
splash的作用：
1、返回渲染的html页面
2、支持渲染多个页面
3、渲染速度快
4、模拟浏览器加载js，并返回js运行后的数据
安装Splash：
1、安装scrapy-splash模块
2、安装docker
3、启动docker，拉取spash
Scrapy 中使用Splash渲染配置代理说明：

        #! -*- encoding:utf-8 -*-
        import base64            
        import sys
        import random

        PY3 = sys.version_info[0] >= 3

        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                inp