lucene2_0创建、检索和删除功能的完整实现-CSDN博客

// 创建索引

public void indexFiles() {

// 创建索引文件存放路径

File indexDir = new File("E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index");

try {

Date start = new Date();

// 创建分析器 , 主要用于从文本中抽取那些需要建立索引的内容 , 把不需要参与建索引的文本内容去掉 .

// 比如去掉一些 a the 之类的常用词 , 还有决定是否大小写敏感 .

StandardAnalyzer standardAnalyzer = new StandardAnalyzer();

// 参数 true 用于确定是否覆盖原有索引的

IndexWriter indexWriter = new IndexWriter(indexDir, standardAnalyzer, true);

indexWriter.setMergeFactor(100);

indexWriter.setMaxBufferedDocs(100);

// 只索引这个 Field 的前 5000 个字，默认为 10000

indexWriter.setMaxFieldLength(5000);

// 从数据库取出所有纪录

List articleList = articleManager.getArticles(null);

for (int i = 0; i < articleList.size(); i++) {

Article article = (Article) articleList.get(i);

// 在 Document 方法是创建索引的具体代码

Document doc = Document(article);

indexWriter.addDocument(doc);

}

// Optimize 的过程就是要减少剩下的 Segment 的数量 , 尽量让它们处于一个文件中 .

indexWriter.optimize();

indexWriter.close();

Date end = new Date();

System.out.println("create index: " + (end.getTime() - start.getTime()) + " total milliseconds");

} catch (IOException e) {

System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

}

public static Document Document(Article article) throws java.io.IOException {

Document doc = new Document();

// 为 article 表的主健创建索引，关于 Field 的几个参数下面有详细解释

Field fieldId = new Field("uid", article.getArticleId(), Field.Store.YES, Field.Index.UN_TOKENIZED,
Field.TermVector.YES);

// 为 detail 字段创建索引， detail 在 DB 中是 clob 字段，内容为 html 文本

String contentHtml = article.getDetail();

Reader read = new StringReader(contentHtml);

// 用 HTMLParser 把 detail 字段中的 HTML 分析成文本在索引

// HTMLParser 这个类可以在 lucene 的 demo 中找到

HTMLParser htmlParser = new HTMLParser(read);

BufferedReader breader = new BufferedReader(htmlParser.getReader());

String htmlContent ="";

String tempContent = breader.readLine();

while (tempContent != null && tempContent.length() > 0) {

htmlContent = htmlContent + tempContent;

tempContent = breader.readLine();

}

Field fieldContents = new Field("content", htmlContent,

Field.Store.COMPRESS, Field.Index.TOKENIZED,Field.TermVector.YES);

// db 中的每条纪录对应一个 doc ，每个字段对应一个 field

doc.add(fieldId);

doc.add(fieldContents);

return doc;

}

// 搜索文件， keyword 是你在页面上输入的查找关键字，这里查找的是 detail 字段

public List searchFiles(String keyword){

String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";

// hitsList 用来保存 db 的纪录，这些纪录可以通过查询结果取到

List hitsList = new ArrayList();

try {

Date start = new Date();

IndexReader reader = IndexReader.open(index);

Searcher searcher = new IndexSearcher(reader);

Analyzer analyzer = new StandardAnalyzer();

QueryParser parser = new QueryParser("content", analyzer);

// 解析查询关键字，比如输入的是以空格等分开的多个查询关键字，这里解析后，可以多条件查询

Query query = parser.parse(keyword);

// hits 用来保存查询结果，这里的 hits 相当于 sql 中的 result

Hits hits = searcher.search(query);

for (int i = 0; i < hits.length(); i++) {

Document doc = hits.doc(i);

// 获得 article 表的主健

String id = doc.get("uid");

// 根据主健去 db 中取纪录，返回到 hitsList 中

try {

Article article = articleManager.getArticle(id);

} catch (ObjectRetrievalFailureException e) {

article = null;

}

// 如果没有找到该纪录，表示该纪录已经不存在，不必添加到 hitsList 中

if(article!=null) hitsList.add(article);

}

searcher.close();

reader.close();

Date end = new Date();

System.out.println("search files: " + (end.getTime() - start.getTime()) + " total milliseconds");

} catch (IOException e) {

System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

} catch (ParseException e) {

System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

}

return hitsList;

}

// 删除索引

public void deleteIndex(){

String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";

try {

Date start = new Date();

IndexReader reader = IndexReader.open(index);

int numFiles = reader.numDocs();

for (int i = 0; i < numFiles; i++) {

// 这里的删除只是给文档做一个删除标记，你可以看到执行 deleteDocument 后会产生一个 del 后缀的文件，

// 用来记录这些标记过的文件

reader.deleteDocument(i);

}

reader.close();

Date end = new Date();

System.out.println("delete index: " + (end.getTime() - start.getTime()) + " total milliseconds");

} catch (IOException e) {

System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

}

// 恢复已删除的索引

public void unDeleteIndex(){

String index = "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";

try {

IndexReader reader = IndexReader.open(index);

reader.undeleteAll();

reader.close();

} catch (IOException e) {

System.out.println(" caught a " + e.getClass() + "\n with message: " + e.getMessage());

}

Field 就像我们学过的数据库中的字段，简单的说，就是一个名值对。这个域有三种属性，分别是

isStored - 是否被存储
isIndexed - 是否被索引
isTokenized - 是否分词

这些属性的组合又构成了四种不同类型的 Field ，而且各有用途

Stored	Indexed	Tokenized
Keyword	Y	Y	N
UnIndexed	Y	N	N
UnStored	N	Y	Y
Text: String	Y	Y	Y
Text : Reader	N	Y	Y

关于 Field ， 2.0.0 版本和 1.4.3 版本方法相比改动比较大，具体见下表

1.4.3 版本中的下面方法都被 Field(String name, String value, Store store, Index index, TermVector termVector) 取代

Keyword(String name, String value) // only version 1.4.3
存储、索引、不分词，用于 URI （比如 MSN 聊天记录的日期域、比如 MP3 文件的文件全路径等等）
Field(String name, String value, Field.Store.YES, Field.Index.UN_TOKENIZED ) // version 2.0.0

UnIndexed(String name, String value) // only version 1.4.3
存储、不索引、不分词，比如文件的全路径
Field(String name, String value, Field.Store.YES, Field.Index.NO ) // version 2.0.0

UnStored(String name, String value) // only version 1.4.3
不存储、索引、分词，比如 HTML 的正文、 Word 的内容等等，这部分内容是要被索引的，但是由于具体内容通常很大，没有必要再进行存储，可以到时候根据 URI 再来挖取。所以，这部分只分词、索引，而不存储。
Field(String name, String value, Field.Store.YES, Field.Index.TOKENIZED ) // version 2.0.0

Text(String name, String value) // only version 1.4.3
存储、索引、分词，比如文件的各种属性，比如 MP3 文件的歌手、专辑等等。 Field.Store.YES, Field(String name, String value, Field.Index.TOKENIZED ) // version 2.0.0

Text(String name, Reader value) // only version 1.4.3

Field(String name, Reader reader) // version 2.0.0
不存储、索引、分词。