htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。是一个没有界面的浏览器,运行速度迅速。是junit的扩展之一..(简HtmlUnit说白了就是一个浏览器,这个浏览器是用Java写的无界面的浏览器,由于内置了Rhinojs引擎,因此可以执行Javascript)
但是一般来说,在小型爬虫项目中,这种框架十分常用,可以有效的分析出 dom的标签,并且有效的运行页面上的js以便得到一些需要执行JS才能得到的值。
WebClient,WebWindow,Page三者之间的关系,所有的页面最终都是在一个WebWindow对象里面,WebClient在创建时会自动的创建一个WebWindow对象,当调用getPage时会将新页面加载到WebWindow里,你可以理解成WebClient就是IE内核,WebWindow就是呈现页面的浏览器窗口
WebClien==IE内核
WebWindow==呈现页面的浏览器窗口
maven依赖包下载:
http://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit/2.27
net.sourceforge.htmlunit
htmlunit
2.27