eclipse:导入htmlparser.jar
import org.htmlparser.util.*;
import org.htmlparser.filters.*;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.nodes.TextNode;
import org.htmlparser.util.ParserException;
import org.htmlparser.visitors.TextExtractingVisitor;;
public class HtmlParserExtraction {
public static void main(String[] args) throws ParserException
{
try {
ParseHtmlText("http://www.hzau.edu.cn/2014/ch/", "GB2312");
} catch (ParserException e) {
e.printStackTrace();
}
}
public static void ParseHtmlText(String url, String pageEncoding) throws ParserException
{
Parser parser = new Parser(url); //访问目标网站
parser.setEncoding(pageEncoding); //设置解析编码的格式
TextExtractingVisitor visitor = new TextExtractingVisitor(); //生成文本内容抽取对象
NodeFilter textFilter = new NodeClassFilter(TextNode.class); //生成文本过滤器
NodeList nodes = parser.extractAllNodesThatMatch(textFilter); //利用文本过滤解析文档
for (int i = 0; i < nodes.size(); i++) {
TextNode textNode = (TextNode) nodes.elementAt(i); //获取文本结点
String line = textNode.toPlainTextString().trim(); //转换成纯文本
if(line.equals("")) continue;
System.out.println(line);
}
parser.visitAllNodesWith(visitor); //访问网页所有的结点
System.out.println(visitor.getExtractedText());
}
}