selenium+ChromeDriver+java爬虫初探

selenium

自动化测试工具，可以完全模拟人的行为。我们可以用它来打开浏览器，访问指定URL，并且定位到具体的按钮，点击触发事件等等。

ChromeDriver

selenium和谷歌浏览器交互，需要这个驱动。下载地址（http://npm.taobao.org/mirrors/chromedriver/）。版本和谷歌浏览器的版本要一致，或者相差不多也行。

简单的demo

//设置谷歌驱动的位置，这就是我们刚才下载下来的驱动，可以放到任意位置，只要有访问权限就行
System.setProperty("webdriver.chrome.driver","D:\\chromedriver.exe");

 ChromeDriver webDriver=new ChromeDriver();
 webDriver.get("https://www.baidu.com");//打开谷歌浏览器，并且访问百度

 //定位到百度搜索框
 WebElement elementByCssSelector = webDriver.findElementByCssSelector("#kw");
 //输入搜索关键字 【java语言】
 elementByCssSelector.sendKeys("java语言");

 //定位按钮并且点击按钮进行搜索
 webDriver.findElementById("su").click();

//循环点击下一页，获取百度10也数据。
 for (int i = 0; i <10 ; i++) {
     //等待5秒，等页面渲染完毕，不然获取不到元素
     TimeUnit.SECONDS.sleep(5);

     //定位下一页按钮
     List<WebElement> elements = webDriver.findElementById("page").findElement(By.className("page-inner")).findElements(By.className("n"));
     //如果找到两个元素，说明不是第一页，会多一个上一页按钮
     if(elements.size()>1){
         //点击下一页
         elements.get(1).click();
     }else{
         //点击下一页
         elements.get(0).click();
     }
 }