最近一直在学习搜索引擎的相关知识，在对于原始的HTML网页的处理是其中非常重要的一个环节，也就是所说的“去噪”，比如去掉相关的标签和不需要的JS代码等等，HTMLParser（http://htmlparser.sourceforge.net/）是一个对现有的HTML进行分析的快速实时的解析工具。它是一个开源的项目，通过它可以准确高效地对HTML文本中的格式、数据进行处理。利用它可以很容易地对网页的内容进行分析、过滤和抓取。它的主要功能分为以下几个部分：
文本信息抽取：提取网页中的文字。
链接提取：提取网页中的链接信息和锚文本。
资源提取：网页中图片、声音的处理。
链接检查：用于检查HTML中的链接是否有效。
内容检查:可以用来过滤网页上一些令人不愉快的字词。
HTMLParser最核心的模块是Parser类，这个类实际完成了对于HTML页面的分析工作，构造函数如下：
public Parser (); API链接地址：http://htmlparser.sourceforge.net/javadoc/index.html
public Parser (Lexer lexer, ParserFeedback fb);
public Parser (URLConnection connection, ParserFeedback fb) throws ParserException;
public Parser (String resource, ParserFeedback feedback) throws ParserException;
public Parser (String resource) throws ParserException;
public Parser (Lexer lexer);
public Parser (URLConnection connection) throws ParserException;
我们通常使用的是通过一个URLConnection或者一个保存有网页内容的字符串来初始化Parser，或者使用静态函数来生成一个Parser对象。
下面我们给出两个简单的初始化的例子。
1.下面是通过传递保存有网页内容的字符串来初始化Parser和通过Parser静态函数来生成Parser对象
import java.io.BufferedReader;
import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.util.HashMap;
import java.util.Map;
import java.util.StringTokenizer;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import javax.swing.plaf.metal.MetalFileChooserUI;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.nodes.TextNode;
import org.htmlparser.tags.JspTag;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.tags.MetaTag;
import org.htmlparser.tags.TableTag;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class t {
/**
* @param args
* @throws IOException
*/
public final static String testFilePath="C:"+File.separator+"glose - 博客园.htm";
public final static String urlName="http://www.cnblogs.com/dlutxm/";
public static String readFile(String fileName) throws IOException{ //读本地文件内容
FileInputStream fin=new FileInputStream(fileName);
InputStreamReader inReader=new InputStreamReader(fin,"utf-8");
BufferedReader bReader=new BufferedReader(inReader);
StringBuffer content=new StringBuffer();
String line=null;
while((line=bReader.readLine())!=null){
content.append(line);
content.append("\n");
}
bReader.close();
inReader.close();
fin.close();
//System.out.println(content);
return content.toString();
}
public static void parser(String content) throws ParserException{
Parser parser=Parser.createParser(content, "utf-8");
//Parser parser=new Parser(content);
NodeList nodeList=null;
// 注册特定标签的类 或者说某个特定的节点
NodeFilter titleFilter=new NodeClassFilter(TitleTag.class);
NodeFilter metaFilter=new NodeClassFilter(MetaTag.class);
NodeFilter textFilter=new NodeClassFilter(TextNode.class);
NodeFilter tableFilter=new NodeClassFilter(TableTag.class);
NodeFilter linkFilter=new NodeClassFilter(LinkTag.class);
NodeFilter jspFilter=new NodeClassFilter(JspTag.class);
//OrFilter类可以得到其参数中设置的任何节点类型，节点之间是或的关系 具体实现方法为setPredicates()
OrFilter lastFilter=new OrFilter();
lastFilter.setPredicates(new NodeFilter[]{titleFilter,metaFilter,textFilter,tableFilter,linkFilter,jspFilter});
nodeList=parser.parse(lastFilter);
Node [] nodes=nodeList.toNodeArray();
String line="";
for(int i=0;i<nodes.length;i++){
Node node=nodes[i];
if(node instanceof TitleTag){ //得到网页的标题
TitleTag titlenode=(TitleTag)node;
line=titlenode.getTitle();
//System.out.println(line);
}
else if(node instanceof MetaTag) { //得到meta中的content内容，包括网页的关键字、编码、描述信息等。
MetaTag metaTag=(MetaTag)node;
line=metaTag.getAttribute("content");
//System.out.println(line);
}
else if(node instanceof TextNode){ //得到文本内容
TextNode textNode=(TextNode)node;
line=textNode.getText();
//System.out.println(line);
}
else if(node instanceof TableTag){
TableTag tableTag=(TableTag)node;
line=tableTag.toPlainTextString(); //得到表格的内容
//System.out.println(line);
String width=tableTag.getAttribute("width");
String height=tableTag.getAttribute("height");
//System.out.println(width);
}
else if(node instanceof LinkTag){ //得到网页中的链接和链接文本
LinkTag linknode=(LinkTag)node;
String linkText=linknode.getLinkText();
String link=linknode.getLink();
System.out.println(linkText);
System.out.println(link);
}
else if(node instanceof JspTag){ //解析网页中的Javas，ASP等动态的代码
JspTag jspTag=(JspTag)node;
line=jspTag.toString();
System.out.println(line);
}
}
}
public static void main(String[] args) throws IOException, ParserException {
// TODO Auto-generated method stub
String content=readFile(testFilePath);
parser(content);
}
}
2.下面是通过一个URLConnection来初始化Parser
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class urlTest {
/**
* @param args
* @throws IOException
* @throws MalformedURLException
* @throws ParserException
*/
public static void parser(String url) throws MalformedURLException, IOException, ParserException{
HttpURLConnection urlConnection=(HttpURLConnection) (new URL(url)).openConnection();
Parser parser=new Parser(urlConnection);
NodeFilter titleFilter=new NodeClassFilter(TitleTag.class);
NodeList nodeList=null;
OrFilter lasFilter=new OrFilter();
lasFilter.setPredicates(new NodeFilter[]{titleFilter});
nodeList=parser.parse(lasFilter);
Node []nodes=nodeList.toNodeArray();
for(int i=0;i<nodes.length;i++){
if(nodes[i] instanceof TitleTag){
TitleTag titleTag=(TitleTag)nodes[i];
String title=titleTag.getTitle();
System.out.println(title);
}
}
}
public static void main(String[] args) throws MalformedURLException, ParserException, IOException {
// TODO Auto-generated method stub
String url="http://www.baidu.com";
parser(url);
}
}
3.下面是对相关的Parser对象构造函数进行了很好的封装和测试。常用的构造Parser对象的方法有以下几种：
import java.io.IOException;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;
import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.filters.OrFilter;
import org.htmlparser.http.ConnectionManager;
import org.htmlparser.lexer.Page;
import org.htmlparser.tags.TitleTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
public class IteratorNode {
/**
* @param args
*/
public static Parser getParserWithUrlStr(String urlStr,String encoding) throws ParserException{
Parser parser=new Parser();
parser.setURL(urlStr);
parser.setEncoding(encoding);
return parser;
}
public static Parser getParserWithUrlConn(String urlStr,String encoding) throws IOException, ParserException{
URL url=new URL(urlStr);
HttpURLConnection urlConnection=(HttpURLConnection) url.openConnection();
Parser parser=new Parser(urlConnection);
parser.setEncoding(encoding);
return parser;
}
public static Parser getParserWithUrlConn2(String urlStr,String encoding) throws ParserException{
ConnectionManager manager=Page.getConnectionManager();
Parser parser=new Parser(manager.openConnection(urlStr));
parser.setEncoding(encoding);
return parser;
}
public static Parser createParser(String htmlContent,String encoding){ //读取本地文件
Parser parser=Parser.createParser(htmlContent, encoding);
return parser;
}
public static void main(String[] args) throws ParserException, IOException {
// TODO Auto-generated method stub
Parser parser1=getParserWithUrlStr("http://www.baidu.com", "utf-8");
Parser parser2=getParserWithUrlConn("http://www.baidu.com", "utf-8");
Parser parser=getParserWithUrlConn2("http://www.baidu.com", "utf-8");
NodeFilter titleFilter=new NodeClassFilter(TitleTag.class);
NodeList nodeList=null;
OrFilter lasFilter=new OrFilter();
lasFilter.setPredicates(new NodeFilter[]{titleFilter});
nodeList=parser.parse(lasFilter);
Node []nodes=nodeList.toNodeArray();
for(int i=0;i<nodes.length;i++){
if(nodes[i] instanceof TitleTag){
TitleTag titleTag=(TitleTag)nodes[i];
String title=titleTag.getTitle();
System.out.println(title);
}
}
}
}
扫一扫
190
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
