爬虫

实现爬虫：
PhantomJs：无头浏览器
Selenium：主要是用来做自动化测试，支持多种浏览器，模拟浏览器进行网页加载，支持JS脚本执行和CSS解析、渲染等准浏览器功能

Jsoup
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
网页获取和解析速度飞快，推荐使用。
 主要功能如下：
 1. 从一个URL，文件或字符串中解析HTML；
 2. 使用DOM或CSS选择器来查找、取出数据；
 3. 可操作HTML元素、属性、文本；
内容
缺点：只能对html页面进行解析，无法进行模拟浏览器操作
HttpClient
HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议。
以下列出的是 HttpClient 提供的主要的功能，要知道更多详细的功能可以参见 HttpClient 的主页。
 （1）实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等）
 （2）支持自动转向
 （3）支持 HTTPS 协议
 （4）支持代理服务器
   （5）支持自动的Cookies管理等
Java爬虫开发中应用最多的一种网页获取技术，速度和性能一流，在功能支持方面显得较为底层，不支持JS脚本执行和CSS解析、渲染等准浏览器功能，推荐用于需要快速获取网页而无需解析脚本和CSS的场景。

HtmlUnit
htmlunit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行，被誉为java浏览器的开源实现。这个没有界面的浏览器，运行速度也是非常迅速的。采用的是Rhinojs引擎。模拟js运行。
网页获取和解析速度较快，性能较好，推荐用于需要解析网页脚本的应用场景。

Watij
Watij（发音wattage）是一个使用Java开发的Web应用程序测试工具，鉴于Watij的简单性和Java语言的强大能力，Watij能够使您在真正的浏览器中完成Web应用程序的自动化测试。因为是调用本地浏览器，因此支持CSS渲染和JS执行。
网页获取速度一般，IE版本过低（6/7）时可能会引发内存泄露。

Webspec 
一个开源的带有界面的Java浏览器，支持脚本执行和CSS渲染。速度一般。