浏览器模拟器之Splash的使用

最新推荐文章于 2022-05-01 15:25:15 发布
最新推荐文章于 2022-05-01 15:25:15 发布
阅读量1.5k 收藏 9
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41998371/article/details/112210126
版权

Splash Lua脚本使用方法

  • 基本实例：
function main(splash, args)
  assert(splash:go(args.url))
  assert(splash:wait(0.5))
  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end

返回值形式:
字典形式
return {hello=“word!”}
返回一个字符串格式
return “hello”
最后都会转化为Splash HTTP Response

  • 异步处理
function main(splash, args)
local example_urls = {"www.baidu.com","www.taobao.com","www.zhihu.com"}
 assert(splash:go(args.url))
 assert(splash:wait(0.5))
 return {
   html = splash:html(),
   png = splash:png(),
   har = splash:har(),
 }
end

Splash对象的属性

args获取加载配置时的参数 ，如url，get请求中获取参数，post请求中获取表单数据
js_enabled设置JsvaScript是否开启，默认为truesplash.js_enabled = false/true
resourse_timeout设置加载的超时时间，单位是秒splash.resourse_out = 0.1
images_enabled设置图片是否加载，默认为truesplash.images_enabled = false/true
plugins_emabled设置浏览器插件是否加载,默认为falsesplash.plugins_emabled = true/false
scroll_position控制页面上下火左右滚动splash.scroll_position = {y=400}

Splash对象的方法

go()请求链接

用来请求某个链接，可模拟POST和GET请求，支持请求头表单等数据

ok, reason = splash:go{url,baseurl=nil,headers=nil,http_method='GET',body=nil,formdata=nil}
参数说明
URL请求的URL
baseurl可选参数，默认为空，表示资源的相对加载路径
headers可选参数，默认为空，表示请求头
http_method可选参数，默认为GET，同时支持POST
body可选参数,默认为空，发POST请求时的表单数据，使用的Content-type为Json
formdata可选参数,默认为空，发POST请求时的表单数据，使用的Content-type为x-www-form-urlencoded
function main(splash,args)
	local ok, reason = splash:go{"http://httpbin.org/post",http_method="POST",body="name=Germey"}
	if ok then
		return splash:html()

wait()延时等待

用来控制页面等待时间

ok, reason = splash:wait{timecancel_on_redirect=false,cancel_on_error=true}
参数说明
time等待的秒数
cancel_on_redirect可选参数，默认为false，如果为true,表示如果发生了重定向就停止等待，返回重定向结果
cancel_on_error可选参数，默认为true,表示如果发生了加载错误就停止等待，返回结果同样是ok和原因reason的组合
function main(splash):
	splash:go("https://www.taobao.com")
	splash:wait(2)
	return {html=splash:html()}
end

jsfunc()

此方法可以直接调用JavaScript定义的方法，但是所调用的方法需要用中括号范围，这相当于实现了JavaScript方法到Lua脚本的转换

function main(splash,args)
	local get_div_count = splash:jsfunc([[
	function () {
		var body =document.body;
		var divs = body.getElementsByTagName(div");
		return divs.length;
	}
	]])
	splash:go("https://www.baidu.com")
	return ("there are %s DIVs"):format(
		get_div_count())
end

evaljs()

此方法可以执行JavaScript代码并返回最后一条JavaScript语句的返回结果

result = splash:evaljs("document.title")

runjs()

此方法可以执行JavaScript代码，它与evaljs()的功能类似，但是更偏向于执行某些动作或声明或某些方法，例如:

function main(splash,args)
	splash:go("网址")
	splash:runjs("foo = function() { return 'bar' }")
	local result = splash:evaljs("foo()")
	return result 
end

autoload()

此方法可以设置页面访问时自动加载的对象,只负责加载不执行任何操作,如需执行可以调用evaljs()或runjs()

ok,reason = splash:autoload{source_or_url,source=nil,url=nil}
参数说明
source_or_urlJavaScript代码或者JavaScript库链接。
sourseJavaScript代码
urlJavaScript库链接

call_later()

此方法可以设置定时任务和延迟时间来实现任务延时执行，并且可以再执行前通过canncel()重新执行定时任务

--lua语言中--为注释
function main(splash, args)
  -- 定义了一个存储截图的列表
  local snapshots = {}
  --定义一个定时任务函数
  local timer = splash:call_later(function()
      snapshots['a'] = splash:png()
      splash:wait(1,0)
      snapshots['b'] = splash:png()
  end,0.2)
  splash:go('https://www.taobao.com')
  splash:wait(3.0)
  --返回截图结果
  return snapshots
end

http_get()

此方法模拟发送http的get请求，使用方法如下

response = splash:http_get{url,headers=nil, follow_redirects=true}
参数说明
url请求URL
headers可选参数、默认为空，请求头
follow_redirects可选参数，表示是否启动自动重定向，默认为True
--lua语言中--为注释
function main(splash, args)
--扩展模块在使用前需要引用
  local treat = require('treat')
  local response  = splash:http_get('http://httpbin.org/get')
  	return {
    	html=treat.as_string(response.body),
    	url=response.url,
    	status=response.status
  	}
end

http_post()

response = splash:http_post{url, headers=nil, follow_redirects=true, body=nil
参数说明
url请求URL
headers可选参数、默认为空，请求头
follow_redirects可选参数，表示是否启动自动重定向，默认为True
body可选参数，及表单数据，默认为空
--lua语言中--为注释
function main(splash, args)
  local treat = require('treat')
  local json = require('json')
  local response  = splash:http_post{'http://httpbin.org/post',
  	body=json.encode({name='Germey'}),
  	headers={['content-type']='application/json'}}
  	return {
    	html=treat.as_string(response.body),
    	url=response.url,
    	status=response.status
  	}
end

set_content()

此方法用来设置页面内容

--lua语言中--为注释
function main(splash)
  assert(splash:set_content('<html><h1>hello</h1></html>'))
  return splash:png()
end

html()

此方法用来获取网页的源代码

--lua语言中--为注释
function main(splash, args)
  splash:go('https://www.baidu.com')
  return splash:html()
end

png()

此方法用来获取PNG格式网页截图

function main(splash, args)
  splash:go('https://www.baidu.com')
  return splash:png()
end

jpeg()

此方法用来获取JPEG格式网页截图

function main(splash, args)
  splash:go('https://www.baidu.com')
  return splash:jpeg()
end

har() 获取页面加载过程

此方法用来获取页面加载过程

function main(splash, args)
  splash:go('https://www.baidu.com')
  return splash:hear()
end

url()

此方法可以获取当前正在访问的URL，实例如下

function main(splash, args)
  splash:go('https://www.baidu.com')
  return splash:url()
end

get_cookies()

此方法可以获取当前页面的Cookies

function main(splash, args)
  splash:go('https://www.baidu.com')
  return splash:get_cookies()
end

add_cookie{}

此方法可以为当前页面添加Cookie

cookies = splash:add_cookies{name,value,path=nil,domain=nil,expires=nil,httpOnly=nil,secure=nil}

function main(splash, args)
  local message = {}
  splash:add_cookie{'BAIDUID_BFESS','Ccccc80DD9DD055F969CFDBC7DEE:FG=1','/',domain='http://baidu.com'}
  splash:go('http://www.baidu.com/')
  message['png'] = splash:png()
  message['cookies'] = splash:get_cookies()  
  return message
end

clear_cookies()

此方法可以清除所有Cookies

function main(splash, args)
  splash:go('http://www.baidu.com/')
  splash:clear_cookies()
  return splash:get_cookies()
end

get_viewport_size()

此方法可以获取当前浏览器页面的大小，即宽高

function main(splash, args)
  splash:go('http://www.baidu.com/')
  return splash:get_viewport_size()
end

set_viewport_size()

此方法可以设置当前浏览器页面的大小，即宽高

function main(splash, args)
  splash:set_viewport_size(400,700)
  --assert()条件成立继续操作 不成立就报错
  assert(splash:go('http://www.baidu.com/'))
  return splash:get_viewport_size()
end

set_viewport_full()

此方法可以最大化当前浏览器页面

function main(splash, args)
  splash:set_viewport_full()
  --assert()条件成立继续操作 不成立就报错
  assert(splash:go('http://www.baidu.com/'))
  return splash:get_viewport_size()
end

set_user_agent()

此方法可以设置浏览器的UA

function main(splash)
  splash:set_user_agent('splash-lol')
  --assert()条件成立继续操作 不成立就报错
  assert(splash:go('http://httpbin.org/get'))
  return splash:html()
end

sent_custom_headers()

此方法可以设置请求头

function main(splash)
  splash:set_user_agent('splash-lol')
  --assert()条件成立继续操作 不成立就报错
  assert(splash:go('http://httpbin.org/get'))
  return splash:html()
end

select() send_text()

可以选中符合条件的第一个节点

function main(splash)
  assert(splash:go('http://www.baidu.com'))
  input = splash:select('#kw')
  input:send_text('splash')
  splash:wait(3)
  return splash:png()
end

select_all()

此方法可以选中所有符合条件的节点，参数是CSS选择器，然后可以遍历节点

function main(splash)
  local treat = require('treat')
  assert(splash:go('http://quotes.toscrape.com/'))
  assert(splash:wait(0.5))
  local texts = splash:select_all('.quote .text')
  local results = {}
  for index, text in ipairs(texts) do
        results[index] = text.node.innerHTML
  end
  splash:wait(3)
  return treat.as_array(results)
end

mouse_click()

此方法可以模拟鼠标点击操作，传入的参数为坐标轴xy，也可以选择节点

function main(splash, args)
  assert(splash:go('http://www.baidu.com'))
  input = splash:select('#kw')
  input:send_text('splash')
  submit = splash:select('#su')
  submit:mouse_click()
  submit = splash:select('#su')
  submit:mouse_click()
  splash:wait(5)
  return splash:png()
end

Splash API调用

以上的Lua脚本实在Splash的测试页面中进行的，以下API是结合Python程序调用的

render.html

这个接口用于获取Js渲染页面的HTML代码

  • 用curl实现
curl http://localhost:8050?render.html?url=https://www.baidu.com
  • 用Python实现
import requests
url = 'http://localhost:8050?render.html?url=https://www.baidu.com'
response = requests.get(url)
print(response.text)
  • 指定其他参数
    wait指定等待秒数
import requests
url = 'http://localhost:8050?render.html?url=https://www.baidu.com&wait=5'
response = requests.get(url)
print(response.text)

代理设置
图片加载设置
Headers设置
请求方法设置

render.png

此接口可以获取网页截图，参数比render.html多了几个，比如截图长宽

  • 用curl实现
curl http://localhost:8050?render.png?url=https://www.baidu.com&wait=5&width=1000&height=700
  • 用python实现
import requests
url = 'http://localhost:8050?render.html?url=https://www.baidu.com&wait=5&width=1000&height=700'
response = requests.get(url)
with open('picture.png', 'wb') as f:
   f.write(response.content)

render.jpeg

比上面多了个参数quality来设置图片质量

runder.har

此接口用于获取页面加载的HAR数据

curl http://localhost:8050?render.har?url=https://www.baidu.com&wait=5

runder.json

包含了前面接口的所有功能，返回的结果是json格式

curl http://localhost:8050?render.json?url=https://www.baidu.com&html=1&har=1

execute最重要的

用此接口可以实现与复杂lua脚本的对接,脚本例子如下

function mian(splash)
	return 'hello'
end

脚本转化成url编码后的字符串

curl http://localhost:8050/execute?lua_sourse=function=main%28splash%29%oD
%oA++return+%27hello%27%oD
%oAend
  • Python实现
import requests
from urllib.parse import quote

lua='''
function main(splash, args)
    local treat = require('treat')
    local response = splash:http_get('http://httpbin.org/get')
    return{
        html = treat.as_string(response.body),
        url = response.url,
        status = response.status
    }
end
'''

url = 'http://localhost:8050/execute?lua_source='+quote(lua)
response = requests.get(url)
print(response.text)

Splash对接Scrapy

来时春尽
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
模拟浏览器
qq_47560372的博客
08-12 1119
User-Agent：用户代理，网站的服务器通过识别UA(User-Agent)来确认用户使用的操作系统、浏览器内核等信息，因为有了这些信息说明用户是通过浏览器进行访问的，而不是爬虫进行爬取，因此通过UA识别就是反爬的一种手段。...
浏览器模拟器
javasogo
07-28 111
做web开发，经常遇到跨浏览器的问题，需要在各个浏览器中测试，安装不同浏览器甚至同一浏览器不同版本是个比较麻烦的事。偶尔看到一个网站，通过安装不通插件，直接在浏览器中可以呼出不同浏览器，感觉还不错，网址是： http://www.spoon.net/Browsers/ 包括 IE，firefox、Apple Safari、Google Chrome 及Opera的各个版本。 ...
scrapy splash模拟点击
愤怒的苹果ext的博客
01-14 3777
目录背景使用splash文档安装 背景 遇到的问题：在做爬虫时遇到用js跳转链接的 并且跳转的链接是加了密的，不好做拼接，这个时候一般解决办法就是模拟点击了。 scrapy模拟点击的话一般是用selenium或者splash，我这里使用的是splash，貌似官方也是推荐用splash 使用splash 文档 github https://github.com/scrapy-plugins...
手机浏览器模拟器_一个鼠标玩转手机模拟器
weixin_39887961的博客
01-22 963
〈2020年9月24星期四〉恭喜你，你已经打开了挥挥的第 100 篇文章也是挥挥的第 69 篇原创文今天的主题是电脑端手机模拟器推荐还有悄悄的有时候会想要在电脑上面下载手机软件奈何软件没有电脑端比如查题库答案的软件就只有安卓端……我是不是暴露了什么挥挥测试了几类模拟器最后筛选出了比较稳定+支持多开的夜神模拟器一起来看看叭(文末有软件下载方法哦)briefintroduction简介———...
DevExpress之SplashScreen用法实例
09-04
在本示例中，我们关注的是DevExpress的SplashScreen组件，它用于创建应用程序启动时显示的欢迎屏幕。SplashScreen通常展示应用程序的logo、版本信息、进度条或者简单的启动信息，为用户提供一种视觉反馈，表明程序...
Android12 SplashScreen使用案例代码下载
03-16
Android12 SplashScreen使用举例代码下载，运行效果 与 相关API使用介绍请参考博文： Android12适配指南——SplashScreen： https://xiaxl.blog.csdn.net/article/details/123522277 Android 12（API 31）引入了 ...
使用Splash爬取动态网页quotes.toscrape.com使用示例
最新发布
12-23
`Splash`是一个流行的工具，它作为一个浏览器自动化服务，允许我们预处理动态页面并抓取其中的数据。在这个示例中，我们将深入探讨如何使用`Splash`来爬取quotes.toscrape.com这个动态网站。 首先，`Scrapy`是一个...
Android开发笔记之:Splash的实现详解
09-05
3. **不符合Material Design规范**：Google推荐的Material Design设计语言中，并不鼓励使用Splash屏幕，因为它们可能会打断用户的使用流程。 综上所述，虽然使用Activity实现Splash屏幕是一种常见的做法，但开发者...
电脑模拟器专属浏览器
06-19
谷歌浏览器x86版,这个可以用于x8处理器,或安装在电脑模拟器里,雷电模拟器已测试,其他模拟器理论也行
IE版本模拟器
12-01
ie 多版本ie5 ie6 ie7 ie8
IE多版本模拟器（5.5,6,7,8,9,10）ietester-v0.5.2
06-01
一个IE模拟测试工具，页面开发兼容性测试利器
IE个版本模拟器
05-07
IETester is a free (both for personal and professional usage) WebBrowser that allows you to have the rendering and javascript engines of IE11, IE10, IE9, IE8, IE7 IE 6 and IE5.5 on Windows 8 desktop, Windows 7, Vista and XP, as well as the installed IE in the same process.
IE多版本模拟器
12-16
支持ie5.5,ie6,ie7,ie8,ie9,ie10
Python爬虫之模拟登陆
05-01
Python爬虫之模拟登陆，通过模拟登陆，达到自动登陆github的作用
scrapy-splash模拟鼠标点击
cow66的博客
03-04 6997
scrapy-splash模拟鼠标点击 跟网上其他教程一样，配置好scrapy和splash， 网上的教程大多都没提及这一点，都是用的render.html,但是这个没法执行lua_source的脚本 重写 start_requests #!/usr/bin/env python # -*- coding: utf-8 -*- import scrapy from scrapy_splash ...
使用Scrapy-Splash实现淘宝免密登录
Show_Rain的博客
08-23 1228
使用Scrapy-Splash实现淘宝免密登录： 总所周知，淘宝的反爬能力较强，笔者试过屏蔽浏览器webdriver但效果不佳，因此另辟蹊径采取cookies免密登录爬取淘宝信息。 创建爬虫后核心代码如下： def get_cookies(self,fp): with open(fp,"r") as f: cookies = json.load(f)...
22、Splash与登录窗口
伍粟的博客
05-01 281
qdlglogin.h #ifndef QDLGLOGIN_H #define QDLGLOGIN_H #include <QDialog> namespace Ui { class dlgLogin; } class QDlgLogin : public QDialog { Q_OBJECT private: bool m_moving=false;//表示窗口是否在鼠标操作下移动 QPoint m_lastPos; //上一次的鼠标位置...
Splash与登陆窗口
-却道天凉好个秋的博客
10-20 420
本实例演示如下的一些功能的实现方法 如何实现Splash特点的无边框对话框 如何设计用鼠标拖动无边框的对话框 如何使用QSetteings类存储用户名，密码等信息 如何用QCryptographicHash类进行字符串加密 如何根据登陆输入状况确定启动主窗口或终止程序运行 对话框界面设计和类定义 创建启动登陆对话框，从QDialog继承而来，里设置类名为QDlgLogin。界面在UI设...
如何使用 splash 抓网页快照
06-02
使用 Splash 抓取网页快照，需要使用 Splash 的 Web API 接口。具体步骤如下： 1. 安装并启动 Splash 服务。可以使用 Docker 启动 Splash，也可以直接在本地安装 Splash。 2. 使用 Python 的 requests 库或者其他 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值