一直都想花时间学习一下lucene的,主要有两个原因没有这么做。一是因为版本更新太快,而且每个版本的变化都比较大。二是花的时间精力可能有点多。现在lucene3.0已经发布了,基本上已经比较稳定了,而且公司以后很可能也会用到lucene,所以就提前学习一下吧!
关于lucene3.0的资料,网上的确很少,所以研究学习起来,困难还是有的。
lucene主要做两件事,建立索引和查询索引。下面通过网上找到的一个例子做个简单的介绍。
这里需要解释几个概念:
Directory
这个类代表了 Lucene 的索引的存储的位置,这是一个抽象类,它目前有三个实现,第一个是 FSDirectory,它表示一个存储在文件系统中的索引的位置。第二个是 RAMDirectory,它表示一个存储在内存当中的索引的位置。还有一个是FileSwitchDirectory,这个API先不要用,因为API文档注明过有可能在将来的版本进行修改。如果数据量不大,可以直接使用RAMDirectory,毕竟在内存中,数据的访问会更快。RAMDirectory还有一个地方比较常用,那就是单元测试,可以在初始化测试方法时创建索引,测试完成后删除索引,这样就不会留下不必要的垃圾文件。
Analyzer
在一个文档被索引之前,首先需要对文档内容进行分词处理,这部分工作就是由 Analyzer 来做的。Analyzer 类是一个抽象类,它有多个实现。针对不同的语言和应用需要选择适合的 Analyzer,中文分词也就是在这里实现一个中文分词的解析器。Analyzer的处理对象必须是Document,
IndexWriter
IndexWriter 是 Lucene 用来创建索引的一个核心的类,他的作用是把一个个的 Document 对象拿给Analyzer处理。
其中document是field的集合,field是term的集合。term是一个二元组,形式如<FieldName,Text>。
上面用到了Field.Index与Field.Store的字段,下面将对它们内部的每个字段都介绍一下:
[b]Index.ANALYZED[/b]
通过分析器将输入文本分解成可独立查询的词汇单元,这对于正式的文本字段很有用,如body,title等。
[b]Index.NOT_ANALYZED[/b]
对这个字段建立索引,但不对该内容进行分解,把整个字段的内容当做单个可查询的词汇单元。如URLS,filepath,dates,personal names,social security numbers,telephone number等。对于“精确匹配”查找也非常有用。
[b]Index.ANALYZED_NO_NORMS[/b]
这是一个比较高级一些变量,表示不在索引中存储关于norms的信息。而norms是一个对索引查询进行加分的一个记录。
[b]Index.NOT_ANALYZED_NO_NORMS[/b]
这个变量与上面的解释差不多,只是综合了一下。
[b]Index.NO[/b]
不让字段的值在查询索引时可用。
[b]Store.YES [/b]
存储字段,而且彻底存储的内容。这样IndexReader(IndexSearcher)查询索引时,就可以查询到字段的内容。这对于想显示查询结果内容的字段来说很有用,如URL,title,ID。一般不要存储非常大的字段。
[b]Store.NO[/b]
与上面的字段相反,这个字段经常伴随着Index.ANALYZED一起使用,用于只需要查询结果而不需要查询内容的文本字段。
建立索引直接调用index方法即可,其中一个参数表示创建的索引存放的目录,另一个参数表示需要建立索引的存放txt文件的目录。
索引建立好以后,就可以查询了,查询的步骤相对来说,要简单一些:
上面需要解释的是TopDocs类,它表示一个存放前N条查询记录的容器。ScoreDoc表示具体存放内容,有点领域模型的感觉。ScoreDoc其本身包含两种属性,一是document,另一种是score。上面方法的参数q表示需要查询的关键字。
这样,一个简单的lucene例子就完成了。关于lucene的内容非常的多,一一讲解的确需要很多时间,以后会尽快讲解一下更多的内容。不过从上面的基本应用可以看出,lucene API设计的确有些问题,明显违背面向对象的原则,比如通过属性访问字段,而不是通过公共方法来访问。不过由于其应用广泛,性能优越,也顾不了那么多了,先学着吧!
关于lucene3.0的资料,网上的确很少,所以研究学习起来,困难还是有的。
lucene主要做两件事,建立索引和查询索引。下面通过网上找到的一个例子做个简单的介绍。
public static int index(File indexDir, File dataDir) throws IOException {
if (!dataDir.exists() || !dataDir.isDirectory()) {
throw new IOException(dataDir
+ " does not exist or is not a directory");
}
Directory directory = FSDirectory.open(indexDir);
Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT);
IndexWriter writer = new IndexWriter(directory, analyzer, true,
IndexWriter.MaxFieldLength.LIMITED);
indexDirectory(writer, dataDir);
int numIndexed = writer.numDocs();
writer.optimize();
writer.close();
return numIndexed;
}
这里需要解释几个概念:
Directory
这个类代表了 Lucene 的索引的存储的位置,这是一个抽象类,它目前有三个实现,第一个是 FSDirectory,它表示一个存储在文件系统中的索引的位置。第二个是 RAMDirectory,它表示一个存储在内存当中的索引的位置。还有一个是FileSwitchDirectory,这个API先不要用,因为API文档注明过有可能在将来的版本进行修改。如果数据量不大,可以直接使用RAMDirectory,毕竟在内存中,数据的访问会更快。RAMDirectory还有一个地方比较常用,那就是单元测试,可以在初始化测试方法时创建索引,测试完成后删除索引,这样就不会留下不必要的垃圾文件。
Analyzer
在一个文档被索引之前,首先需要对文档内容进行分词处理,这部分工作就是由 Analyzer 来做的。Analyzer 类是一个抽象类,它有多个实现。针对不同的语言和应用需要选择适合的 Analyzer,中文分词也就是在这里实现一个中文分词的解析器。Analyzer的处理对象必须是Document,
IndexWriter
IndexWriter 是 Lucene 用来创建索引的一个核心的类,他的作用是把一个个的 Document 对象拿给Analyzer处理。
private static void indexDirectory(IndexWriter writer, File dir)
throws IOException {
File[] files = dir.listFiles();
for (int i = 0; i < files.length; i++) {
File f = files[i];
if (f.isDirectory()) {
indexDirectory(writer, f); // recurse
} else if (f.getName().endsWith(".txt")) {
indexFile(writer, f);
}
}
}
private static void indexFile(IndexWriter writer, File f)
throws IOException {
if (f.isHidden() || !f.exists() || !f.canRead()) {
return;
}
System.out.println("Indexing " + f.getCanonicalPath());
Document doc = new Document();
doc.add(new Field("contents", new FileReader(f)));
doc.add(new Field("filename", f.getCanonicalPath(), Field.Store.YES,
Field.Index.ANALYZED));
writer.addDocument(doc);
}
其中document是field的集合,field是term的集合。term是一个二元组,形式如<FieldName,Text>。
上面用到了Field.Index与Field.Store的字段,下面将对它们内部的每个字段都介绍一下:
[b]Index.ANALYZED[/b]
通过分析器将输入文本分解成可独立查询的词汇单元,这对于正式的文本字段很有用,如body,title等。
[b]Index.NOT_ANALYZED[/b]
对这个字段建立索引,但不对该内容进行分解,把整个字段的内容当做单个可查询的词汇单元。如URLS,filepath,dates,personal names,social security numbers,telephone number等。对于“精确匹配”查找也非常有用。
[b]Index.ANALYZED_NO_NORMS[/b]
这是一个比较高级一些变量,表示不在索引中存储关于norms的信息。而norms是一个对索引查询进行加分的一个记录。
[b]Index.NOT_ANALYZED_NO_NORMS[/b]
这个变量与上面的解释差不多,只是综合了一下。
[b]Index.NO[/b]
不让字段的值在查询索引时可用。
[b]Store.YES [/b]
存储字段,而且彻底存储的内容。这样IndexReader(IndexSearcher)查询索引时,就可以查询到字段的内容。这对于想显示查询结果内容的字段来说很有用,如URL,title,ID。一般不要存储非常大的字段。
[b]Store.NO[/b]
与上面的字段相反,这个字段经常伴随着Index.ANALYZED一起使用,用于只需要查询结果而不需要查询内容的文本字段。
建立索引直接调用index方法即可,其中一个参数表示创建的索引存放的目录,另一个参数表示需要建立索引的存放txt文件的目录。
索引建立好以后,就可以查询了,查询的步骤相对来说,要简单一些:
public static void search(File indexDir, String q) throws Exception {
IndexSearcher is = new IndexSearcher(FSDirectory.open(indexDir),true);//read-only
String field = "contents";
QueryParser parser = new QueryParser(Version.LUCENE_CURRENT, field, new StandardAnalyzer(Version.LUCENE_CURRENT));
Query query = parser.parse(q);
//返回匹配的前两条记录
TopDocs topDocs = is.search(query, 2);
ScoreDoc[] hits = topDocs.scoreDocs;
for (int i = 0; i < hits.length; i++) {
Document doc = is.doc(hits[i].doc);//new method is.doc()
System.out.println(doc.getField("filename")+" "+hits[i].toString()+" ");
}
}
上面需要解释的是TopDocs类,它表示一个存放前N条查询记录的容器。ScoreDoc表示具体存放内容,有点领域模型的感觉。ScoreDoc其本身包含两种属性,一是document,另一种是score。上面方法的参数q表示需要查询的关键字。
这样,一个简单的lucene例子就完成了。关于lucene的内容非常的多,一一讲解的确需要很多时间,以后会尽快讲解一下更多的内容。不过从上面的基本应用可以看出,lucene API设计的确有些问题,明显违背面向对象的原则,比如通过属性访问字段,而不是通过公共方法来访问。不过由于其应用广泛,性能优越,也顾不了那么多了,先学着吧!