Selenium获取请求的接口数据信息/浏览器Network的请求和响应

最新推荐文章于 2024-01-14 12:37:01 发布

pythonlaodi

最新推荐文章于 2024-01-14 12:37:01 发布

阅读量1.8k

点赞数 1

分类专栏：爬虫文章标签： java python linux docker nginx

本文链接：https://blog.csdn.net/pythonlaodi/article/details/109133507

版权

本文介绍了如何利用Selenium结合Browsermob-Proxy在Java环境下抓取浏览器的HTTP请求和响应信息。通过在浏览器设置代理，可以详细地获取接口数据，类似于Fiddler或Charles的功能。

摘要由CSDN通过智能技术生成

获取浏览器Network请求和响应

Selenium-获取请求的接口数据信息

Browsermob-Proxy是一个开源的Java编写的基于LittleProxy的代理服务。Browsermob-Proxy的具体流程有点类似与Flidder或Charles。即开启一个端口并作为一个标准代理存在，当HTTP客户端（浏览器等）设置了这个代理，则可以抓取所有的请求细节并获取返回内容。

需要java环境！

安装：

直接到项目的github上下载打好的压缩包即可:https://github.com/lightbody/browsermob-proxy/releases ，支持Linux和Windows。

window如下

安装对应的python包：

pip install browsermob-proxy

完整代码：

import json
from browsermobproxy import Server
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
 
 
if __name__ == '__main__&#