用Lucene建立索引及查询示例

sonfon2007-02-06 18:09
最近需要用尝试Lucene建立一个对小数据集建立索引和查询,从网上看到了这个例子,拿来共享一下:

首先去 apache 网站下载 lucene 的开发包,并配置好环境变量
http://jakarta.apache.org/lucene/docs/index.html

建立索引程序:
/*
* Created on 2004-4-26
*/

import org.apache.lucene.index.*;
import org.apache.lucene.analysis.standard.*;
import org.apache.lucene.document.*;
import java.io.*;

/**
* @author bell.wang
*/
public class IndexFiles {

public static void main(String[] args) {
try{
  IndexWriter writer = new IndexWriter("myindex", new StandardAnalyzer(), true);
   
 
  File files = new File("mydoc");
  String[] Fnamelist = files.list();
  for (int i = 0; i < Fnamelist.length; i++){
  File file = new File(files,Fnamelist);
   
  Document doc = new Document();
  Field fld = Field.Text("path", file.getPath());
  doc.add(fld);
 
  fld = Field.Keyword("modified", DateField.timeToString(file.lastModified()));
  doc.add(fld);
   
  FileInputStream in = new FileInputStream(file);
  Reader reader = new BufferedReader(new InputStreamReader(in));
  fld = Field.Text("contents", reader);
  doc.add(fld);
 
  writer.addDocument(doc);
  System.out.println("Added : " + doc.get("path"));
 
  }  
  writer.optimize();
  writer.close();
  System.out.println("Has Added Total: " + Fnamelist.length);
}catch(Exception e){
  System.out.println(e);
}

}

}

程序对当前路径下mydoc目录下所有文件建立索引,其中索引有三个字段: 文件路径,
最后修改时间,文件内容. 建立的索引文件在当前路径下的myindex目录

检索程序:
/*
* Created on 2004-4-26
*
*/
import org.apache.lucene.analysis.*;
import org.apache.lucene.analysis.standard.*;
import org.apache.lucene.search.*;
import org.apache.lucene.queryParser.*;
import org.apache.lucene.document.*;
//import com.augmentum.hrms.*;
import java.util.Date;
/**
* @author bell.wang
*
*/
public class SearchFile {

public static void main(String[] args) {

//XMap a = new XMap("");
Analyzer anlzr = new StandardAnalyzer();
try{
  Query q = QueryParser.parse("数据库", "contents", anlzr);
  System.out.println("Searching for : " + q.toString("contents"));
 
  Searcher serch = new IndexSearcher("myindex");
  Hits hts = serch.search(q);
  for(int i=0; i<hts.length(); i++){
  Document doc = hts.doc(i);
  String path = doc.get("path");
  System.out.println("Find: " +i+": "+ path);
  System.out.println("Find: " + doc.get("modified"));
  System.out.println("Find: " + doc.get("path"));
  }
  System.out.println("Find Total: " + hts.length());
}catch(Exception e){
  System.out.println(e);
}
}
}

程序对索引的contents字段用“数据库“关键字进行查询,返回
的是所有包含有关键字的文档集合,分别打印出各个字段.

上面的程序我用纯文本文件测试通过,.txt,.jsp,.html 都可以,
word,pdf 等文件需要经过转化才能对其进行索引。
 
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lucene搜索分页过程中,可以有两种方式 一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机 还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率 而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来. 比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据. 安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取 而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询 第三种思路就变成了 我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作 同时又保证了内存不容易被溢出.而具体缓存设置多少,要看你的服务器的能力和访问的人数来决定
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值