java通过selenium chromedriver爬取评论

爬取数据时一般会遇到一种情况，就是爬取的内容是慢加载，无法直接爬取。

这种情况就只能通过模拟浏览器访问来获取数据

第一步：下载谷歌浏览器引擎 chromedriver

推荐不要下载太高的版本。不然会报 版本不符合。主要原因还是Selenium Chrome浏览器版本与chromedriver驱动不兼容。

Driver info: driver.version: ChromeDriver

remote stacktrace: Backtrace:

chromedriver下载地址：

http://chromedriver.storage.googleapis.com/index.html

第二步：编写java爬取程序

新建maven程序

在maven文件中添加selenium-java

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>a</groupId>
  <artifactId>a</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>a</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.seleniumhq.selenium</groupId>
      <artifactId>selenium-java</artifactId>
      <version>3.4.0</version>
    </dependency>
  </dependencies>
</project>

 编写爬取代码

package a.a;

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;

/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args )
    {
        //chromedriver存放地址;
    	System.setProperty("webdriver.chrome.driver", "D:/chromedriver_win32/chromedriver.exe");

        //调用chrome
        WebDriver driver = new ChromeDriver();

        //调整高度
        //((ChromeDriver) driver).executeScript("window.scrollTo(0, document.body.scrollHeight);");

        //获取网址
        ((ChromeDriver) driver).get("https://www.douyin.com/video/7062565602560396579");
        
        
        //根据class获取内容
        WebElement  element = driver.findElement(By.className( "BOJBWh64"));
        String content=element.getText();
        System.out.println(content);
        //关闭浏览器
        driver.close();
    }
}

 获取结果