使用HtmlParser,我们可以非常方便的对HTML文件进行解析。结合爬虫程序,快速获得网页上感兴趣的内容。本文中的代码使用的是HtmlParser 1.6版本。HtmlParser将HTML文件依据标签将其分解成树形结构,并定义了三种Node来存储这些内容:
- TagNode:标签结点。存储了标签中的内容。
- TextNode:文本结点。存储了Html文件中的文本内容。
- RemarkNode:注释结点。存储了
如果需要通过HtmlParser来对HTML文件进行解析,首先需要建立一个Parser对象。可以通过String、URLConnection或者Lexer来构造一个Parser对象。其中,String的第一个非空白字符如果是“<",则该String被看成HTML;否则,其被尝试为URL链接被打开;如果打开仍然失败,则该String被当做本地的一个文件地址。
例如,通过一个URL来构造Parser对象:
String url = "www.baidu.com";
Parser parser = new Parser(url);
对HTML内容的抽取,最简单常用的方法是使用过滤器(filter)来定义一些过滤条件,然后再通过Paser类的extractAllNodesThatMatch方法来得到过滤后的NodeList。如以下几种常用的filter:
- HasAttribeFilter:筛选出具有特定属性,或者具有特定”属性-值“的结点;
- LinkRegexFilter:筛选出满足正则表达式的超链接;
- LinkStringFilter:筛选出包含特定字符串的超链接;
- OrFilter:”或“过滤器,可以将若干filter的条件以逻辑或的方式组合。
得到了一些筛选出来的Node后,我们可以使用Node固有的方法,或者通过自己写代码来抽取出想要的内容。如.toPlainTextString(), getAttribute()。
// 获取一个网站上的链接,filter 用来过滤链接,返回所获得链接的集合
public static ArrayList<String> extractLinks(String url) {
ArrayList<String> links = new ArrayList<String>();
try {
Parser parser = new Parser(url);
parser.setEncoding(parser.getEncoding());
// 过滤得到形如"/beijing?pageno=2"的链接
NodeFilter frameFilter = new LinkRegexFilter(
"/[a-z]*\\?pageno=[0-9]");
NodeList list = parser.extractAllNodesThatMatch(frameFilter);
for (int i = 0; i < list.size(); i++) {
TagNode tag = (TagNode) list.elementAt(i);
String frameUrl = tag.getAttribute("href");// 提取链接
links.add(frameUrl);
}
} catch (ParserException e) {
e.printStackTrace();
}
return links;
}
//获取分类链接,classification用来存放分类名称
public static ArrayList<String> extractClassLinks(String city, String url, ArrayList<String> className) {
ArrayList<String> links = new ArrayList<String>();
try {
Parser parser = new Parser(url);
parser.setEncoding(parser.getEncoding());
// 过滤得到形如"/beijing/c/2"的链接
NodeFilter frameFilter = new LinkRegexFilter(
"/" + city + "/c/[0-9]+");
NodeList list = parser.extractAllNodesThatMatch(frameFilter);
for (int i = 0; i < list.size(); i++) {
TagNode tag = (TagNode) list.elementAt(i);
Node tagChild = tag.getFirstChild();
className.add(tagChild.getText());//获取分类名称
String frameUrl = tag.getAttribute("href");// 提取链接
links.add(frameUrl);
}
} catch (ParserException e) {
e.printStackTrace();
}
return links;
}