还是比Selenium好用?Python使用Splash访问谷歌获取相应内容。

本文介绍了如何使用Python结合Splash服务来处理JavaScript渲染的网页,通过Docker在Linux上配置Splash,并展示了如何通过requests库进行交互,实现网页内容的获取。还提及了Splash的代理配置以及其在处理前后端分离网页时的优势。
摘要由CSDN通过智能技术生成

        上次讲了一下playwright获取网站的数据。但是吧这个playwright,他终究是一个自动化调试工具,多多少少会占一点本地的资源。

        这次的Splash可不一样了,他是部署在服务器上的,可以把负载的资源放在一个甚至多个服务器上,实现在服务器上将想要请求的网站,请求加渲染,把最后的HTML返回给你,让你解析数据。

一、Splash和Splash配置

        Splash是一个JavaScript的渲染服务,这是一款带有HTTP API的轻量级web浏览器,同时啊他还接入了python3的Twisted and QT5库。

你们想要的文档在这里 https://splash.readthedocs.io/en/stable/index.html

        Spalsh配置这里介绍下Liunx+Docker的配置,以下几步:

  • 安装Docker,保证Docker安装的版本>=17
  • 使用Docker拉取镜像
  • 启动容器,开启Splash服务
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值