Jsoup+selenium爬取iframe内容的方法

1.引入相关依赖

<dependency>
  <groupId>io.github.bonigarcia</groupId>
    <artifactId>webdrivermanager</artifactId>
    <version>5.0.3</version>
</dependency>

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
</dependency>
<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-api</artifactId>
    <version>3.141.59</version>
</dependency>


<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>23.0</version>
</dependency>

<dependency>
    <groupId>com.google.code.gson</groupId>
    <artifactId>gson</artifactId>
    <version>2.8.2</version>
</dependency>

2.安装Chrome驱动

chromedriver下载地址
选择一个版本（例如：101.0.4951.15），选择对应操作系统下载：如：chromedriver_win32.zip， 下载后解压安装即可。
centOS7安装chromedriver的教程
docker安装chromedriver

3.应用驱动

WebDriverManager.chromedriver().setup();

以上代码调会自动将正确的浏览器驱动程序放在代码将看到的位置

4.抓取iframe页面内容

private static String getPageBySelenium(String url){
    //应用驱动
    WebDriverManager.chromedriver().setup();

    //加载驱动
    WebDriver driver = new ChromeDriver();
    //指定页面地址
    driver.get(url);
    
    //获取页面的iframe元素， “g_iframe”是元素的ID, 根据实际页面来获取
    WebElement iframe = driver.findElement(By.ById.id("g_iframe"));

    //跳转到iframe页面内
    driver.switchTo().frame(iframe);
 
    //返回iframe的全部页面html内容
    return driver.getPageSource();
}

5.处理iframe内容

    String body = getPageBySelenium("初始网址");

    //body 已经是页面下iframe中的内容了
    //用Jsoup来解析， 也可用别的xml解析框架
    Document document = Jsoup.parse(body);
    
    //后续操作， 根据实际页面解析需要的元素
    Elements elements = document.getElementsByClass("xxx");
    Element element = elements.get(0);
    Node node = element.childNode(0);
    String name = node.toString();
    
    //...