数据检索---基于Lucene索引

      有了大量的数据之后，想要找到特定的数据，模糊查询，也是一个巨大的挑战。这里有来一起回顾下Lucene索引。（以下很多来自百度百科，算作是科普吧）

     说起Lucene，它是apache软件基金会jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆。

•  2015年2月20日更新到5.0.0 （还在更新中）

•  说起Lucene，不得不说原作者是Doug Cutting，他是一位资深全文索引/检索专家，还是Hadoop和Avro的原作者，人称Hadoop之父。

      Lucene作为一个全文检索引擎，其具有如下突出的优点：
      （1）索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式，使得兼容系统或者不同平台的应用能够共享建立的索引文件。
      （2）在传统全文检索引擎的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，达到优化的目的。
      （3）优秀的面向对象的系统架构，使得对于Lucene扩展的学习难度降低，方便扩充新功能。
      （4）设计了独立于语言和文件格式的文本分析接口，索引器通过接受Token流完成索引文件的创立，用户扩展新的语言和文件格式，只需要实现文本分析的接口。
      （5）已经默认实现了一套强大的查询引擎，用户无需自己编写代码即可使系统可获得强大的查询能力，Lucene的查询实现中默认实现了布尔操作、模糊查询（Fuzzy Search[11]）、分组查询等等。

      有代码，有真相。下面来说说怎么索引，怎么查询?

      在pom.xml中添加依赖，引用Lucene（我用的是5.0.0）：

<dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>5.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>5.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-queryparser</artifactId>
            <version>5.0.0</version>
        </dependency>

import java.nio.file.Paths;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.IndexWriterConfig.OpenMode;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class LuceneTest {
    public static String path = "G:/temp/index";
    public static Analyzer analyzer = new StandardAnalyzer();// 分词方法，这里用的是标准英文分词法，后面出一篇文章说说分词那点事

    public static void main(String[] args) {
        try {
            testIndex();
            testQuery();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public static void testIndex() throws Exception {
        // Store the index in file/memory: new RAMDirectory()
        Directory directory = FSDirectory.open(Paths.get(path));
        IndexWriterConfig iwc = new IndexWriterConfig(analyzer);
        boolean create = true;
        if (create) {
            // Create a new index in the directory, removing any
            // previously indexed documents:创建模式
            iwc.setOpenMode(OpenMode.CREATE);
        } else {
            // Add new documents to an existing index: 不存在就创建，否则追加
            iwc.setOpenMode(OpenMode.CREATE_OR_APPEND);
        }

        IndexWriter iwriter = new IndexWriter(directory, iwc);
        // for better indexing performance, increase the max heap size to the
        // JVM (eg add -Xmx512m or -Xmx1g)  增加内存可以加快索引速度
        // iwc.setRAMBufferSizeMB(256.0);
        String text[] = { "hello world", "hello hadoop" };
        for (int i = 0; i < text.length; i++) {
            String str = text[i];
            Document doc = new Document();
            doc.add(new Field("id", i + "", TextField.TYPE_STORED));
            doc.add(new Field("content", str, TextField.TYPE_STORED));
            // doc.add(new LongField("modified", lastModified, Field.Store.NO));
            iwriter.addDocument(doc);
            // iwriter.updateDocument(term, doc);
            // iwriter.deleteDocuments(queries);
        }
        // to maximize search performance, 设置强制合并索引可以加快搜索速度
        // iwriter.forceMerge(1);
        iwriter.close();
        directory.close();
    }

    public static void testQuery() throws Exception {
        Directory directory = FSDirectory.open(Paths.get(path));
        DirectoryReader ireader = DirectoryReader.open(directory);
        IndexSearcher isearcher = new IndexSearcher(ireader);
        // Parse a simple query that searches for "text":   以某一个字段来查询
        QueryParser parser = new QueryParser("content", analyzer);
        Query query = parser.parse("hello");
        ScoreDoc[] hits = isearcher.search(query, null, 1000).scoreDocs;
        // Iterate through the results:
        for (int i = 0; i < hits.length; i++) {
            Document hitDoc = isearcher.doc(hits[i].doc);
            System.out.println("HIT=" + hitDoc.get("content"));
        }
        ireader.close();
        directory.close();
    }

}

    这个过程是很简单，首先建立索引文件，有了索引之后便可以查询；代码中有很多注释，不多解释。

    整个过程有很多问题需要考虑的，如：

     1. 索引文件格式是什么样的？

     2. 内存索引和文件索引能并存即可以同时从两个或者多个索引里面查询吗？

     3. 支持复杂的查询条件吗？

     4. 对索引数据能够删除、修改吗？

     5. 怎么样提高查询准确率/查全率？

     6. 索引文件很大了，怎么办？

   不错，这些问题不是一两句能说的完的，有时间慢慢在写吧，可能很多你已经有了答案。