基于splash的爬虫_01

已于 2022-12-10 22:34:04 修改
阅读量216 收藏
点赞数
文章标签： javascript 开发语言 ecmascript
于 2022-12-10 22:21:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60255954/article/details/128269954
版权

是一个JavaScript渲染服务,带有HTTP API的轻量级浏览器
可以使用Lua语言编写代码对页面进行渲染
Python可以通过HTTP API调用Splash内部的功能,与Lua代码进行交互

主要功能:

  1. Splash内置的浏览器使用了Twisted框架,所以可以异步进行多个网页的渲染
  2. 获取渲染后的页面源代码或者截图
  3. 通过关闭图片渲染或者使用Adblock规则来加快页面渲染的速度
  4. 使用JavaScript处理页面的内容
  5. 可以通过Lua脚本控制页面渲染的过程
  6. 获取渲染的详细过程并通过HAR(HTTP Archive)格式呈现

Splash在安装在Docker上,首先要安装docker

安装Splash并启动，如果是linux加sudo

docker run -p 8050:8050 scrapinghub/splash

启动成功访问 http://localhost:8050/

启动成功页面是这样的

右边就是默认的Lua脚本
通过main方法传入2个参数，然后通过args参数获得一个URL，等待0.5秒，返回数据
获得一下数据：

  1. 与URL对应页面的HTML代码
  2. 与URL对应页面的png截图
  3. HAR格式数据

在Render me那里输入​​​​​​​百度的URL，就会生成相应的内容

 

Spark_zzz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于python的爬虫教程.docx
05-07
### 基于Python的爬虫教程详尽知识点解析 #### 一、Python基础 在开始学习Python爬虫之前，了解Python的基础知识至关重要。这部分主要包括： - **数据类型**：熟悉Python中的各种数据类型，例如整型(int)、浮点型...
基于python的爬虫练习题（提供全套答案）
最新发布
06-23
基于Python的爬虫练习题是一个专门设计用于学习和实践网络爬虫技术的项目，提供了从基础到高级的全套练习和答案。该项目旨在帮助初学者掌握爬虫的基本概念和技术，并为有经验的开发者提供复杂的挑战。 项目主要内容...
爬虫之Splash基础篇
实践求真知
01-19 7232
一 点睛 Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。 二 功能介绍 利用Splash，我们可以实现如下功能： 异步方式处理多个网页渲染过程； 获取渲染后的页面的源代码或截图； 通过关闭图片渲染或者使用Adblock规则来加快...
Splash的爬虫应用
小马哥的博客
12-07 1079
Splash是一个JavaScript渲染服务，它是一个带有HTTP API的轻型WEB浏览器，Python可以通过HTTP API调用Splash中的一些方法实现对页面的渲染工作。同时还可以使用Lua语言实现页面的渲染，所以使用Splash同样可以实现动态渲染页面的爬取
scrapy框架中使用splash
xutengfei999的博客
10-29 416
1.安装scrapy_splash pip install scrapy_splash 2.在自己爬虫的settings文件中进行spalsh配置 # 使用splash解析，要在配置文件中设置splash服务器地址 确保配置的splash服务已开启，开启的具体方法可查看使用docker启动splash服务_xutengfei999的博客-CSDN博客 SPLASH_URL = 'http://xxx.xxx.xxx.xxx:8050/' # 将splash middleware添加到DOWNLOAD
全局注入SplashActivity界面框架。支持首次打开App开屏界面#再进程存活的情况下从后台进入前台注入开屏界面#再进程存活的情况下锁屏再亮屏进入开屏界面...
weixin_33817333的博客
05-18 174
SplashGlobally 预览动图移步Github 一行代码实现如上注入开屏界面,开发者只要专注于开屏界面UI、数据逻辑即可。 前言 去年使用反射实现过一种一行代码实现开屏广告。由于是基于反射，如果各个系统版本Api、变量名、各机型ROM、有更改还得适配比较麻烦，存在不稳定性。因此再介绍一种基于原生API方式。 SplashGlobally是一个全局注入SplashActivity界面框架...
推荐开源项目：Splash - 精美启动页生成器
gitblog_00001的博客
04-01 456
推荐开源项目：Splash - 精美启动页生成器 项目地址:https://gitcode.com/ladingwu/Splash 项目简介 Splash 是一个由吴朗迪开发的开源项目，致力于帮助开发者快速创建美观、专业的应用启动页。通过简单的配置，你可以自定义你的启动页内容，包括背景图、logo、文字等元素，以提升应用程序的整体用户体验。 技术分析 前端框架：Splash 基于流行的前端框架 ...
163Music-master_爬虫_MongoDB_网易云音乐_scrapy_
10-02
【描述】"基于Scrapy爬取网易云的所有歌曲、热评等信息"表明该爬虫项目的目标是获取网易云音乐平台上的歌曲列表和热门评论。这通常涉及到解析HTML或JSON页面，提取出歌曲名称、歌手、专辑、评论内容、点赞数等关键...
逆向爬虫20 Scrapy-Splash入门
weixin_40743639的博客
02-08 2751
逆向爬虫笔记 20
2024年Python最新网络爬虫之Splash负载均衡配置_每次使用splash都出现端口别占用
2401_84558983的博客
05-01 665
服务器根据请求客户端的 IP 地址进行哈希计算，确保使用同一个服务器响应请求，这种策略适合有状态的服务，如用户登录后访问某个页面的情形。我们通过 weight 指定了各个服务的权重，权重越高分配到处理的请求越多，假如不同的服务器配置差别比较大的话，就可以使用此种配置。这样默认以轮询策略实现负载均衡，每个服务器的压力相同，此策略适合服务器配置相当，无状态且短平快的服务使用。④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）⑤ Python学习路线图（告别不入流的学习）
[294]爬虫之scrapy-splash
周小董
07-10 9097
什么是splash Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。 目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy...
Splash使用以及爬虫资料
qq_42283061的博客
03-26 1119
在安装splash之前需要有docker，非专业使用docker可以下载图形界面的，操作简单。 Windows 11安装需要登录docker账号。
Python3爬虫中Splash的知识总结
菜鸟教程
12-10 2828
更多编程教程请到：菜鸟教程 https://www.piaodoo.com/ 友情链接： 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。 1. 功能介绍 ·利用Splash，我们可以实现如下功能： ·异步方式处理多个网页渲染过程； ·获取渲染后的页
golang爬虫使用splash进行JS渲染服务
青哥的博客
02-02 4150
如此，便开启了一个运行Splash应用的Docker容器，该容器共享宿主机网络。Splash基于HTTP的API, 是跨语言的，应该可以代替Chromedp浏览器爬虫。
Python爬虫：splash的安装与简单示例
热门推荐
彭世瑜的博客
08-13 1万+
安装splash 1、安装docker（参考：mac安装docker） 2、安装splash docker pull scrapinghub/splash # 安装 docker run -p 8050:8050 scrapinghub/splash # 运行 访问测试： http://localhost:8050/ 代码示例 import requests import...
Scrapy-splash 渲染网页（windows10）
博客 小站
12-25 1505
Scrapy-splash 渲染网页 scrapy爬虫框架没有提供页面js渲染服务，所以我们获取不到部分HTML网页的数据信息，我们可以通过一个渲染引擎来为我们提供渲染服务将网页所有信息均呈现出来-----Splash渲染引擎： 1、Splash渲染引擎工作简介： Splash是为Scrapy爬虫框架提供渲染Javascript代码的引擎，它具备如下功能： （1）为用户返回...
splash爬虫
最爱山间那朵云
02-26 1771
# -*- coding: utf-8 -*- import scrapy import sys from scrapy_splash import SplashRequest from android.agents import agents reload(sys) sys.setdefaultencoding('utf-8') class AndroidSpider(BaseSpider):
爬虫之Splash对象方法（二）
实践求真知
02-05 555
一 autoload() 1 点睛 此方法可以设置每个页面访问时自动加载的对象，使用方法如下： ok, reason = splash:autoload{source_or_url, source=nil, url=nil} 参数说明如下。 source_or_url：JavaScript代码或者JavaScript库链接。 source：JavaScript代码。 url：Jav...
python爬虫 Splash动态数据
03-19
Python爬虫是一种用于自动化获取网数据的技术，而Splash是一个基于Webkit的JavaScript渲染服务，可以用于处理动态网页。结合Python爬虫和Splash可以实现对动态数据的爬取。 使用Python爬虫和Splash进行动态数据爬取的步骤如下： 1. 安装Splash：首先需要安装并运行Splash服务，可以通过Docker来安装和运行Splash。 2. 安装必要的库：使用Python的requests库发送请求，使用splashapi库与Splash进行交互。 3. 编写爬虫代码：在Python中编写爬虫代码，使用requests库发送请求到Splash服务，并通过splashapi库解析返回的结果。 4. 解析动态数据：根据网页的结构和需要获取的数据，使用相应的解析方法提取出所需的数据。 以下是一个简单的示例代码，演示如何使用Python爬虫和Splash获取动态数据： ```python import requests from splashapi import Splash # 创建Splash对象 splash = Splash() # 设置请求参数 url = 'http://example.com' # 目标网页的URL script = """ function main(splash) splash:go(splash.args.url) splash:wait(5) # 等待页面加载完成 return splash:html() # 返回页面的HTML内容 end """ # 发送请求并获取结果 response = splash.run('execute', {'lua_source': script, 'url': url}) # 解析结果 html = response['result']['html'] # 在这里可以使用其他库（如BeautifulSoup）对HTML进行解析和提取数据 # 打印结果 print(html) # 关闭Splash服务 splash.close() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值