JavaScript 动态渲染页面爬取(二) —— 基于 Splash

最新推荐文章于 2024-07-28 17:04:36 发布
最新推荐文章于 2024-07-28 17:04:36 发布
阅读量3.2k 收藏 5
点赞数 5
CC 4.0 BY-SA版权
分类专栏： Python3入门与进阶 文章标签： python 爬虫 splash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xw1680/article/details/121766667
本文介绍了JavaScript渲染服务Splash的安装与使用，包括通过docker部署、Lua脚本控制渲染过程、获取渲染后的源代码和截图。讲解了如何使用Splash的基本方法，如设置资源超时、禁用图片加载，以及通过Lua脚本调用JavaScript方法。此外，还展示了如何结合Python调用Splash的API进行页面渲染和爬取。

目录

一、安装 Splash

Splash 是一个 JavaScript 渲染服务，是一个含有 HTTP API 的轻量级浏览器，它还对接了 Python 中的 Twisted 库和 QT 库。利用它，同样可以爬取动态渲染的页面。利用 Splash，可以实现如下功能：

  1. 异步处理多个网页的渲染过程；
  2. 获取渲染后页面的源代码或截图。
  3. 通过关闭图片渲染或者使用 Adblock 规则的方式加快页面渲染的速度；
  4. 执行特定的 JavaScript 脚本；
  5. 通过 Lua 脚本控制页面的渲染过程；
  6. 获取页面渲染的详细过程并以 HAR(HTTP Archive) 的格式呈现出来。

Splash 建议的安装方式是通过 docker，安装是通过 docker 安装，在这之前请确保已经正确安装好了

了解本专栏 订阅专栏 解锁全文 超级会员免费看
JavaScript 动态渲染页面爬取(一) —— 基于 Selenium
棒棒编程修炼场
12-07 4535
目录一、安装 Selenium二、Selenium 的使用 一、安装 Selenium 利用 Ajax 接口 爬取数据的方法通常有两种： 一种是深挖其中的逻辑，把请求需要的参数的构造逻辑完全找出来，在使用 Python 代码复现，构造 Ajax 请求； 另一种是直接模拟浏览器的运行，绕过这个过程，因为在浏览器里是可以看到这个数据的，所以如果能把看到的数据直接爬取下来，当然就能获取对应的信息了。 两种方式各有优劣，具体采用哪一种，需要根据实际情况进行分析。举个简单例子：如果你的工作时间紧任务重，老板数据要
Python 爬虫实战：动态渲染页面爬取 —— 基于 Selenium 与 Playwright 的解决方案
最新发布
2503_91057718的博客
10-23 740
摘要：本文探讨动态渲染页面的爬取技术，重点比较Selenium和Playwright两种工具。针对电商平台商品列表和社交平台信息流等动态加载内容，详细讲解环境配置、核心代码实现及高级技巧（元素等待、反检测、性能优化）。测试显示Playwright在速度（快37.5%）、内存占用（省37.1%）和稳定性（失败率2%）方面优势明显，而Selenium浏览器兼容性更佳。文章提供完整的实战案例代码，总结出动态爬取的关键在于合理模拟浏览器行为、优化等待策略，并应根据项目需求选择工具，为开发者处理复杂动态页面提供了系统
Python3网络爬虫开发实战（7）JavaScript 动态渲染页面爬取
bigcrab的博客
07-28 2526
selenium，splash，playwright，没有 pyppeteer，因为 pyppeteer 无人维护
scrapy利用splash爬取京东js动态渲染的商品数据（记录一下自己的小成果）
weixin_43865334的博客
11-04 1315
1.
利用scrapy-splash爬取JS生成的动态页面
weixin_30301449的博客
10-19 204
目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy没有JS engine，所以爬取的都是静态页面，对于JS生成的动态页面都无法获得。 解决方案： 利用第三方中间件来提供JS渲染服务： scrapy-splash 等。 利用webkit或者基于webkit库 Splash是一个Javascript渲染服务。它是一个实现了...
python爬虫抓取动态页面_[Python]爬虫技术:(JavaScript渲染)动态页面抓取超级指南
weixin_39709194的博客
02-21 326
当我们进行网页爬虫时，我们会利用一定的规则从返回的 HTML 数据中提取出有效的信息。但是如果网页中含有 JavaScript 代码，我们必须经过渲染处理才能获得原始数据。此时，如果我们仍采用常规方法从中抓取数据，那么我们将一无所获。浏览器知道如何处理这些代码并将其展现出来，但是我们的程序该如何处理这些代码呢？接下来，我将介绍一个简单粗暴的方法来抓取含有 JavaScript 代码的网页信息。大多...
JavaScript动态渲染页面爬取——Selenium的使用
Bruce_xiaowei的博客
03-29 4599
Python爬取JavaScript动态渲染的网页，使用Selenium实现。
Scrapy 爬虫框架四 —— 动态网页及其 Splash 渲染
smilejiasmile的博客
09-01 840
一、前言 动态页面：HTML文档中的部分是由客户端运行JS脚本生成的，即服务器生成部分HTML文档内容，其余的再由客户端生成 静态页面：整个HTML文档是在服务器端生成的，即服务器生成好了，再发送给我们客户端 二、问题分析 scrapy爬虫框架没有提供页面 js 渲染服务，所以我们获取不到信息，所以我们需要一个渲染引擎来为我们提供渲染服务---这就是Splash渲染引擎（大侠出场了） 1、Splash渲染引擎简介： Splash是为Scrapy爬虫框架提供渲染javas.
python爬虫之动态渲染页面的爬取Selenium
hehui1uu的博客
05-13 1323
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、Selenium是什么？二、使用步骤1.安装2.Selenium定位元素使用形式控制浏览器方法WebDriver常用方法鼠标事件与键盘事件鼠标事件键盘事件实际问题解决设置元素等待显示等待隐式等待多表单切换每日一图 前言 在实际情况中有许多网站部分网页并非原始HTML代码
JavaScript案例（三）：动态渲染页面；html+css+js实现动态渲染页面
小张小张的博客
03-05 4299
前言 将代码中已知的数据结构，通过代码的方式把数据渲染成一个表格显示在页面上 如图： 循环遍历users数组，有多少个成员执行多少回 1. 创建一个tr标签 2. 循环遍历 users内的每一个对象 对象内有多少个成员，执行多少遍 2-1.创建一个td标签 2-2. 向 td标签内添加内容 2-3. 把td标签插入到tr标签内 3. 把tr 插入到tbody内部 代码： <!DOCTYPE html> <html lang="en"> <h..
Splash
As的博客
09-15 362
属性 args:加载时配置的参数 Get:请求参数 Post:表单提交的数据 js_enabled resours_timeout images_enabled plugins_enabled scroll_position 方法 go() wait() jsfunc() evaljs() autoload() call_later() http_get() http_...
Splash抓取javaScript动态渲染页面
Laicaling的博客
09-28 348
scrapy爬虫框架没有js渲染服务，所以我们采集不到数据，这时候我们就需要一个渲染引擎来为我们提供渲染服（Splash渲染引擎） Splash渲染引擎： Splash是一个Javascript渲染服务，Splash是为Scrapy爬虫框架提供渲染的 splash的作用： 1、返回渲染的html页面 2、支持渲染多个页面 3、渲染速度快 4、模拟浏览器加载js，并返回js运行后的数据 安装Splash： 1、安装scrapy-splash模块 2、安装docker 3、启动docker，拉取spash Sc
爬虫利器JavaScript渲染服务Splash的使用
qq_20116223的博客
01-26 462
简介 Splash是一个使用Twisted和QT5在Python 3中实现的支持HTTP API调用的轻量级的web浏览器，它使用Twisted和QT的反射机制以使服务完全异步并通过QT主循环以便利用webkit并发性，能提供JavaScript渲染服务。 Splash 的主要功能: 支持并行处理多个页面 支持获取返回的HTML代码或者获取返回页面的截屏图片 可以通过禁止图片加载或者使用Adblock Plus插件来提高加载页面的速度 在页面的上下文中执行用户的JavaScript代码 编写lua脚本
获取js渲染后的html_经典的面试题！从url到页面渲染：我们能做哪些优化
weixin_39720003的博客
12-06 477
在前端面试中，有一道经典的面试题：请描述一下从url输入到页面渲染的过程。这道题很考察候选人的能力和知识深度，今天我们以这个问题为基础，讲一下在此过程中能做哪些优化。从输入 URL 到页面加载完成的过程首先做 DNS 查询，如果这一步做了智能 DNS 解析的话，会提供访问速度最快的 IP 地址回来接下来是 TCP 握手，应用层会下发数据给传输层，这里 TCP 协议会指明两端的端口号，然后...
使用splash爬去JavaScript动态请求的内容
qq_32093267的博客
10-03 2691
现在许多网站都是用JavaScript动态加载内容，使用scrapy已经不够，因此我们需要使用splash框架取爬动态的信息。
input标签file类型，如何获取图片渲染到页面上
mzy110_的博客
11-01 810
原生JS-----input表单域的类型file，如何获取图片渲染到页面上 代码图如下： 效果图如下：
获取js渲染后的html_关键渲染路径
weixin_39585886的博客
12-01 725
奇技指南本文作者Berwin，W3C性能工作组成员，360导航高级前端工程师。《深入浅出Vue.js》(正在出版)作者。本文来自奇舞周刊。通常我们只需要编写HTML，CSS，JavaScript屏幕上就会显示出漂亮的页面，但浏览器是如何使用我们的代码在屏幕上渲染像素的呢？浏览器将HTML，CSS，JavaScript转换为屏幕上所呈现的实际像素，这期间所经历的一系列步骤，叫做关键渲染路径(Crit...
Splash 基础使用 JavaScript渲染 爬虫
weixin_30387663的博客
08-19 138
Splash 服务安装（linux上） 安装docker docker run -d -p 8050:8050 scrapinghub/splash args 获取加载时配置得参数，如URL,GET,POST function main(splash,args) local url = args.url end **以上等价于** function main(splash) ...
scrapy爬取动态页面
03-12
### 使用 Scrapy 抓取 JavaScript 渲染的动态页面 为了有效抓取由 JavaScript 动态加载的内容，可以采用 Splash 来辅助 Scrapy 完成这一任务。Splash 是一个轻量级浏览器，能够执行 JavaScript 并返回渲染后的 ...
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

棒棒编程修炼场

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值