转载:http://www.jscud.com/srun/news/viewhtml/3_2005_8/77.htm
在使用lucene对相关内容进行索引时,会遇到各种格式的内容,例如html,pdf,word等等,那么我们如何从这么文档中得到我们需要的内容哪?例如html的内容,一般我们不需要对html标签建立索引,因为那不是我们需要搜索的内容.这个时候,我们就需要从html内容中解析出我们所需要的内容.对于pdf,word文档,也是类似的要求.
总之,我们只需要从内容中提取出我们需要的文本来建立索引,这样用户就能搜索到需要的内容,然后访问对应的资源即可.
lucene本身带的例子中有一个解析html的代码,不过不是纯java的,所以在网上我又找到了另外一个html解析器,网址如下:http://htmlparser.sourceforge.net.
对pdf解析的相关项目有很多,例如pdfbox.在pdfbox里面提出pdf的文本内容只需要一句话即可:
document doc = lucenepdfdocument.getdocument( file ); |
当然如果需要更高级的设置,就要使用pdfbox中pdftextstripper等类来实现更高级的操作了.
对word文档解析的相关有poi,网址是 http://jakarta.apache.org/poi/.
htmlparser本身提供的功能很强大,我们下面主要来关注我们需要的功能.首先给出几个函数如下:
/** //设置编码:根据实际情况修改 htmlpage visitor = new htmlpage(myparser); myparser.visitallnodeswith(visitor); title = visitor.gettitle(); body = combinenodetext(visitor.getbody().tonodearray()); searchhtmlpage result = new searchhtmlpage(title, body); return result; /** myparser = parser.createparser(content, "gbk"); nodefilter textfilter = new nodeclassfilter(textnode.class); //暂时不处理 meta orfilter lastfilter = new orfilter(); try //中场退出了 node[] nodes = nodelist.tonodearray(); string result = combinenodetext(nodes); //合并节点的有效内容 for (int i = 0; i < nodes.length; i++) string line = ""; line = linknode.getlink(); if (stringfunc.istrimempty(line)) continue; result.append(" ").append(line); return result.tostring(); |
其中searchhtmlpage类是表示一个html页面的模型,包含标题和内容,代码如下:
package com.jscud.www.support.search; /** * 搜索时解析html后返回的页面模型. * * @author scud(飞云小侠) http://www.jscud.com * */ public class searchhtmlpage { /**标题*/ private string title; /**内容*/ private string body; public searchhtmlpage(string title, string body) { this.title = title; this.body = body; } public string getbody() { return body; } public void setbody(string body) { this.body = body; } public string gettitle() { return title; } public void settitle(string title) { this.title = title; } } |
当然,使用htmlparser解析html资源还有很多其他的方法,可以设置很多的条件来满足用户的解析要求,用户可以阅读其他的文章或者htmlparser的文档来了解,在此不多介绍.
下一节讲解如何进行搜索.