Jsoup+selenium爬取iframe内容的方法

咘噜biu

已于 2023-12-14 13:37:16 修改

阅读量2.4k

点赞数 2

文章标签： java selenium jsoup

于 2022-04-21 17:43:41 首次发布

本文链接：https://blog.csdn.net/xhom_w/article/details/124327336

版权

本文介绍了如何通过引入Selenium和WebDriverManager的Java依赖，下载并安装Chrome驱动，然后利用WebDriverManager自动配置驱动。接着展示了如何切换到页面的iframe并抓取其内容，最后用Jsoup进行解析。示例代码详细演示了整个过程。

摘要由CSDN通过智能技术生成

1.引入相关依赖

<dependency>
  <groupId>io.github.bonigarcia</groupId>
    <artifactId>webdrivermanager</artifactId>
    <version>5.0.3</version>
</dependency>

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
</dependency>
<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-api</artifactId>
    <version>3.141.59</version>
</dependency>


<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>23.0</version>
</dependency>

<dependency>
    <groupId>com.google.code.gson</groupId>
    <artifactId>gson</artifactId>
    <version>2.8.2</version>
</dependency>

2.安装Chrome驱动

chromedriver下载地址
选择一个版本（例如：101.0.4951.15），选择对应操作系统下载：如：chromedriver_win32.zip，下载后解压安装即可。
centOS7安装chromedriver的教程
 docker安装chromedriver

3.应用驱动

WebDriverManager.chromedriver().setup();

以上代码调会自动将正确的浏览器驱动程序放在代码将看到的位置

4.抓取iframe页面内容

private static String getPageBySelenium(String url){
    //应用驱动
    WebDriverManager.chromedriver().setup();

    //加载驱动
    WebDriver driver = new ChromeDriver();
    //指定页面地址
    driver.get(url);
    
    //获取页面的iframe元素， “g_iframe”是元素的ID, 根据实际页面来获取
    WebElement iframe = driver.findElement(By.ById.id("g_iframe"));

    //跳转到iframe页面内
    driver.switchTo().frame(iframe);
 
    //返回iframe的全部页面html内容
    return driver.getPageSource();
}

5.处理iframe内容

    String body = getPageBySelenium("初始网址");

    //body 已经是页面下iframe中的内容了
    //用Jsoup来解析， 也可用别的xml解析框架
    Document document = Jsoup.parse(body);
    
    //后续操作， 根据实际页面解析需要的元素
    Elements elements = document.getElementsByClass("xxx");
    Element element = elements.get(0);
    Node node = element.childNode(0);
    String name = node.toString();
    
    //...