Java爬虫样例

• maven

<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>3.141.59</version>
</dependency>

• 谷歌浏览器驱动地址
  需要找对应的版本
  https://npm.taobao.org/mirrors/chromedriver
• 代码

package cn.demo;


import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import java.util.concurrent.TimeUnit;


public class Temp {
    public static void main(String[] args) {
        System.setProperty("webdriver.chrome.driver","D:\\learn\\environment\\chromedriver_win32\\chromedriver.exe");
        //不打开浏览器窗口
        WebDriver driver = new ChromeDriver(new ChromeOptions().addArguments("headless"));
        //通过隐式等待，WebDriver在试图查找_任何_元素时在一定时间内轮询DOM。
        // 当网页上的某些元素不是立即可用并且需要一些时间来加载时是很有用的。
        driver.manage().timeouts().implicitlyWait(10L, TimeUnit.SECONDS);
        driver.get("http://www.baidu.com/");
        WebElement body = driver.findElement(By.cssSelector("body"));
        System.out.println(body.getAttribute("outerHTML"));
        driver.quit();
    }
}