java Selenium4 DevTools使用

Selenium4 增加了重要的功能就是DevTools,比如以前想要获取Request信息和Response信息比较麻烦,有了DevTools使用很简洁的api就能获取到了。没有DevTools之前想要获取Request信息和Response信息参照我的另一篇文章java selenium使用BrowserMobProxy代理需要依赖第三方组件,现在不用了,下面看代码吧。


import java.util.Optional;
import java.util.concurrent.TimeUnit;

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.devtools.DevTools;
import org.openqa.selenium.devtools.HasDevTools;
import org.openqa.selenium.devtools.v101.network.Network;
import org.openqa.selenium.remote.Augmenter;
import org.openqa.selenium.devtools.v101.network.model.Response;

/**
 * @author kk
 * @Description Selenium DevTools功能演示
 */
public class SeleniumDevTools {

	public static void main(String[] args) throws InterruptedException {
		String webDriverDir = "浏览器驱动路径";
		// 加载驱动
		System.setProperty("webdriver.chrome.driver", webDriverDir);
		// 创建驱动对象
		WebDriver driver = new ChromeDriver();

		driver = new Augmenter().augment(driver);
		DevTools devTools = ((HasDevTools) driver).getDevTools();
		devTools.createSession();
		devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));
		// 获取Request信息
		devTools.addListener(Network.requestWillBeSent(), res -> {
			System.out.println("RequestHeaders:" + res.getRequest().getHeaders());
			System.out.println("RequestHeaders:" + res.getRequest().getUrl());
		});

		// 获取Response信息
		devTools.addListener(Network.responseReceived(), res -> {
			System.out.println("ResponseHeaders:" + res.getResponse().getHeaders());
			System.out.println("ResponseURL:" + res.getResponse().getUrl());
		});
		driver.get("https://www.baidu.com/");
    
        // 获取Response响应内容
	    devTools.addListener(Network.responseReceived(), res -> {
		    Response response = res.getResponse();
		    String url = response.getUrl();
		    System.out.println("url:" + url);
		    // 获取network 请求的responseBody
		    String responseBody = devTools.send(Network.getResponseBody(res.getRequestId())).getBody();
		  });
		  driver.get("https://www.baidu.com/");

		TimeUnit.MILLISECONDS.sleep(4500);
	}
}

运行之后可以到看,Request信息和Response信息了,代码已经提交git仓库地址是演示代码git仓库地址
在这里插入图片描述

  • 4
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 28
    评论
Java Selenium可以通过使用浏览器的开发者工具来抓取网络数据包。具体来说,可以使用Selenium WebDriver来控制浏览器,然后使用浏览器的开发者工具来捕获网络请求和响应。以下是一个简单的示例代码: ```java import org.openqa.selenium.chrome.ChromeDriver; import org.openqa.selenium.devtools.DevTools; import org.openqa.selenium.devtools.network.Network; import org.openqa.selenium.devtools.network.model.Headers; import org.openqa.selenium.devtools.network.model.Request; import org.openqa.selenium.devtools.network.model.Response; public class SeleniumCaptureNetworkTraffic { public static void main(String[] args) { // 设置 ChromeDriver 路径 System.setProperty("webdriver.chrome.driver", "path/to/chromedriver"); // 创建 ChromeDriver 实例 ChromeDriver driver = new ChromeDriver(); // 启动开发者工具 DevTools devTools = driver.getDevTools(); devTools.createSession(); // 开启 Network 模块 devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty())); // 添加监听器来捕获请求和响应 devTools.addListener(Network.requestWillBeSent(), entry -> { Request request = entry.getRequest(); System.out.println("Request URL: " + request.getUrl()); Headers headers = request.getHeaders(); System.out.println("Request Headers: " + headers); }); devTools.addListener(Network.responseReceived(), entry -> { Response response = entry.getResponse(); System.out.println("Response URL: " + response.getUrl()); Headers headers = response.getHeaders(); System.out.println("Response Headers: " + headers); }); // 打开网页 driver.get("https://www.example.com"); // 关闭浏览器 driver.quit(); } } ``` 上述代码中,我们使用ChromeDriver来启动Chrome浏览器,并创建开发者工具的会话。然后,我们启用了Network模块,并添加了请求和响应的监听器。在监听器中,我们可以获取到请求和响应的URL、Headers等信息,并进行处理。最后,我们使用driver.get方法打开了一个网页,可以在监听器中获取到该网页的请求和响应数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 28
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值