使用WebDriver进行网络爬虫

一、简介

WebDriver官方对其描述如下：

Webdriver (Selenium2）是一种用于Web应用程序的自动测试工具，它提供了一套友好的API，Webdriver完全就是一套类库，不依赖于任何测试框架，除了必要的浏览器驱动，不需要启动其他进程或安装其他程序，也不必像Selenium 1那样需要先启动服务。
Selenium 2则是通过原生浏览器支持或者浏览器扩展直接控制浏览器。

个人理解WebDriver作为自动化测试工具，可以直接通过浏览器对页面按照之前设置的程序进行操作，因为是完完全全原生浏览器的操作，所以我们人工可以完成的工作原则上WebDriver都可以帮助我们完成，这就是他强大的地方。

本文介绍如何搭建开发环境，以及我爬取的过程中常用的功能，具体的语法请关注Selenium2的中文教程网

二、搭建开发环境

WebDriver支持多种语言调用API，并且支持多种浏览器。这里我们就选择Java
注意的是，这里我们指的是Webdriver (Selenium2）
Webdriver (Selenium3）搭建开发环境会有不同。

WebDriver搭建需要三个东西配合

• selenium的开发包
• 浏览器驱动
• 浏览器
  这里最最最最最坑的是：这三个东西的版本必须相互匹配！！！！！
  因为我一开始搭建的时候就是因为版本问题死活跑不起来，后来在高人的指点下，才终于找到一个都匹配的版本。
  所以大家没有特殊需求建议搭建过程严格使用我这三个版本

2.1selenium的开发包

这里我们使用Maven的方式搭建，注意，我们选择的是Selenium2的版本

<dependency>
     <groupId>org.seleniumhq.selenium</groupId>
     <artifactId>selenium-java</