selenium获取网络响应内容

文章讲述了在Selenium4.14.0版本中,由于对desired_capabilities参数的支持变化,如何使用ChromeOptions正确配置ChromeDriver以获取日志并执行网络请求的更新方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

TypeError: WebDriver.__init__() got an unexpected keyword argument 'desired_capabilities' 

新版本不支持desired_capabilities的问题解决

不同版本有不同的配置方法

历史版本设置方法,selenium==4.1.0

from selenium import webdriver

options = webdriver.ChromeOptions()
path = Service(r'C:\\chromedriver.exe')
caps = {"browserName": "chrome", 'goog:loggingPrefs': {'performance': 'ALL'}}  # 开启日志性能监听
driver = webdriver.Chrome(service=path, chrome_options=options,desired_capabilities=caps)

performance_log = driver.get_log('performance')  # 获取名称为 performance 的日志
    for i in range(len(performance_log)):
        message = json.loads(performance_log[i]['message'])
        message = message['message']['params']
        request = message.get('request')
        if(request is None):
            continue

        url = request.get('url')
        if(url == "https://xx.com"):
            # 通过requestId获取接口内容
            detail_response = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': message['requestId']})
    return detail_response


selenium == 4.14.0 就不支持上述设置方法

from selenium import webdriver

options = webdriver.ChromeOptions()
path = Service(r'C:\\chromedriver.exe')
options.set_capability('goog:loggingPrefs', {'performance': 'ALL'}) # 开启日志性能监听
driver = webdriver.Chrome(service=path, options=options)

performance_log = driver.get_log('performance')  # 获取名称为 performance 的日志
    for i in range(len(performance_log)):
        message = json.loads(performance_log[i]['message'])
        message = message['message']['params']
        request = message.get('request')
        if(request is None):
            continue

        url = request.get('url')
        if(url == "https://xx.com"):
            # 通过requestId获取接口内容
            detail_response = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': message['requestId']})
    return detail_response


### 使用Selenium在Java中获取HTTP响应值 由于Selenium WebDriver本身并不直接支持获取HTTP响应码或响应头的功能,因此通常需要借助其他工具来实现这一目标。一种常见的方法是利用浏览器开发者工具协议(CDP, Chrome DevTools Protocol),这可以通过启用性能日志记录并解析其中的数据来间接获得HTTP请求的相关信息。 另一种方式是在测试环境中集成代理服务器,比如BrowserMob Proxy,它能够捕获所有的网络流量,并允许访问详细的HTTP消息细节,包括状态码和头部信息等[^1]。 下面是采用BrowserMob Proxy配合Selenium Java API的一个简单例子: ```java import net.lightbody.bmp.BrowserMobProxyServer; import net.lightbody.bmp.client.ClientUtil; import org.openqa.selenium.Proxy; import org.openqa.selenium.WebDriver; import org.openqa.selenium.chrome.ChromeDriver; public class HttpResponseExample { public static void main(String[] args) throws InterruptedException { BrowserMobProxyServer proxy = new BrowserMobProxyServer(); proxy.start(0); // 获取 Selenium 代理对象 Proxy seleniumProxy = ClientUtil.createSeleniumProxy(proxy); System.setProperty("webdriver.chrome.driver", "path/to/chromedriver"); WebDriver driver = new ChromeDriver(); try { String url = "http://example.com"; // 设置代理 ((org.openqa.selenium.remote.RemoteWebDriver) driver).setFileDetector(new org.openqa.selenium.remote.LocalFileDetector()); ((org.openqa.selenium.remote.DesiredCapabilities)((org.openqa.selenium.remote.Augmenter())new Augmenter()).augment(driver)).setCapability(CapabilityType.PROXY, seleniumProxy); // 开始捕捉哈希表中的所有请求 proxy.newHar("test"); driver.get(url); Thread.sleep(2000); // 等待页面加载完成 // 停止捕捉并将结果保存到变量har中 var har = proxy.getHar(); // 遍历HAR文件条目以找到特定URL的状态码和其他详情 for (var entry : har.getLog().getEntries()) { if(entry.getRequest().getUrl().equals(url)){ int statusCode = entry.getResponse().getStatus(); System.out.println("Status Code: "+statusCode); break; } } } finally { driver.quit(); proxy.stop(); } } } ``` 此代码片段展示了如何设置BrowserMob Proxy并与Selenium WebDriver一起工作,从而可以监控指定网站上的HTTP交互情况,并从中提取出所需的响应数据[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值