java-selinum爬虫

本文章是介绍如何通过java语言使用selinum进行数据爬取。

首先项目需要依赖

        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>4.0.0-alpha-1</version>
        </dependency>

我所用的chromedriver.exe版本是   89.0.4389.23

可自行去http://npm.taobao.org/mirrors/chromedriver/ 镜像库获取 

最简单的一个实例：

public static void main(String[] args) throws InterruptedException {
        // 获取驱动程序路径，我放在resources文件夹下面的
        URL driverPath = ResourceUtil.getResource("chromedriver.exe");
        System.setProperty("webdriver.chrome.driver", driverPath.getPath());
        ChromeDriver webDriver = new ChromeDriver();
        String url = "http://www.baidu.com";
        webDriver.get(url);
        Thread.sleep(100);
        //打印网页源码
        System.out.println(webDriver.getPageSource());
        //获取网页title
        String title = webDriver.getTitle();
        //打印网页标题
        System.out.println(title);
    }