[转]Selenium获取请求的接口数据信息/浏览器Network的请求和响应

最新推荐文章于 2025-09-01 09:58:28 发布

转载最新推荐文章于 2025-09-01 09:58:28 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://blog.csdn.net/pythonlaodi/article/details/109133507

文章标签：

#selenium #测试工具 #java

本文介绍如何使用Selenium与BrowserMob-Proxy工具抓取浏览器的HTTP请求及响应数据，通过设置代理和配置WebDriver实现自动化捕获网页加载过程中的所有请求信息。

获取浏览器Network请求和响应

Selenium-获取请求的接口数据信息

Browsermob-Proxy是一个开源的Java编写的基于LittleProxy的代理服务。Browsermob-Proxy的具体流程有点类似与Flidder或Charles。即开启一个端口并作为一个标准代理存在，当HTTP客户端（浏览器等）设置了这个代理，则可以抓取所有的请求细节并获取返回内容。

需要java环境！

安装：

直接到项目的github上下载打好的压缩包即可:https://github.com/lightbody/browsermob-proxy/releases ，支持Linux和Windows。

window如下

安装对应的python包：

pip install browsermob-proxy

完整代码：

import json
from browsermobproxy import Server
from selenium.webdriver.chrome.options import Options
from selenium import webdriver

if __name__ == ‘__main__’:
# 开启Proxy
server = Server(r’D:\usr\data\browser\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat’)
server.start()
proxy = server.create_proxy()

# 配置Proxy启动WebDriver
chrome\_options = Options()
chrome\_options.add\_argument('--proxy-server={0}'.format(proxy.proxy))
# 解决 您的连接不是私密连接问题
chrome\_options.add\_argument('--ignore-certificate-errors')
chrome\_options.add\_argument('--ignore-urlfetcher-cert-requests')

driver = webdriver.Chrome(chrome\_options=chrome\_options)
driver.implicitly\_wait(20)

proxy.new\_har("douyin", options={'captureHeaders': True, 'captureContent': True})

driver.get(url)

result = proxy.har


for entry in result\['log'\]\['entries'\]:
    \_url = entry\['request'\]\['url'\]
    # 根据URL找到数据接口
    if "/hotel/list" in \_url:
        \_response = entry\['response'\]
        \_content = \_response\['content'\]\['text'\]
        # 获取接口返回内容
        print(\_content)
        # 读取信息
        person\_json = json.loads(\_content)
        hotels = (person\_json\["data"\])\["hotels"\]


server.stop()

更多方法：

点这里即可获取

---------------------
作者：pythonlaodi
来源：CSDN
原文：https://blog.csdn.net/pythonlaodi/article/details/109133507
版权声明：本文为作者原创文章，转载请附上博文链接！