市面上有很多XML 解析器 ,比如 SAX JDOM DOM DOM4J 等等。但是很少有HTML 解析器。HTML解析器的作用就是容错率高
比如如果我用XML 解析器去初始化HTML 文件就可能报错。因为他不是标准的XML 文档 。
下面我就介绍种HTML解析器:
cyberneko是一个HTML解析器,它可以将HTML文件解析成w3c的Document对象。Dom4J则支持通过XPath表达式检索元素。用XPath检索Html真的是很爽的事!现在就开始:
第一步:cyberneko解析
DOMParser parser = new DOMParser();
parser.parse(path);
org.w3c.dom.Document w3cDoc=parser.getDocument();
第二步:w3c的Document转换为Dom4J的Document:
DOMReader domReader=new DOMReader();
document=domReader.read(w3cDoc);
第三步:创建Xpath对象
XPath xpath=new DefaultXPath("//DIV[@class='abc']");
如果页面声明了xmlns命名空间,还需要加入命名空间信息
Map nameSpaces=new HashMap();
nameSpaces.put("xmlns","http://www.w3.org/1999/xhtml");
xpath.setNamespaceContext(new SimpleNamespaceContext(nameSpaces));
这样,表达式就应该写成:
"//xmlns:DIV[@xmlns:class='abc']"
第四步:检索
List nodes=xpath.selectNodes(doc);
参考: http://blog.sina.com.cn/s/blog_4a86545f0100097l.html
这个是我们老大写的一个HTML解析器,本人认为非常经典。因为当我们用httpClient去抓取别人的网站时候返回回来的是一堆HTML
文本,这些文本的解析过程是痛苦的。而有了这个HTML解析器就可以分析里面的文字,然后做业务操作。
当然还有另外一种解析方法。这个是开发人员经常使用的就是XPATH曾泽表达式方式解析。
各有优点!