lucene全文检索操作实例

Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

全文检索

将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。

例如：字典。字典的拼音表和部首检字表就相当于字典的索引，对每一个字的解释是非结构化的，如果字典没有音节表和部首检字表，在茫茫辞海中找一个字只能顺序扫描。然而字的某些信息可以提取出来进行结构化处理，比如读音，就比较结构化，分声母和韵母，分别只有几种可以一一列举，于是将读音拿出来按一定的顺序排列，每一项读音都指向此字的详细解释的页数。我们搜索时按结构化的拼音搜到读音，然后按其指向的页数，便可找到我们的非结构化数据——也即对字的解释。

这种先建立索引，再对索引进行搜索的过程就叫全文检索**(Full-text Search)****。**

虽然创建索引的过程也是非常耗时的，但是索引一旦创建就可以多次使用，全文检索主要处理的是查询，所以耗时间创建索引是值得的。对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。

Tip:lucene对java环境的最低要求为JAVA1.8

创建索引

第一步：创建一个java工程，并导入jar包。

工程所需jar包:

第二步：创建一个indexwriter对象。

1）指定索引库的存放位置Directory对象

2）指定一个IndexWriterConfig对象。

第二步：创建document对象。

第三步：创建field对象，将field添加到document对象中。

第四步：使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。

第五步：关闭IndexWriter对象。

代码如下:

 @Test
    public void createIndex() throws Exception {
        //创建一个Director对象,指定索引库保存的位置
        Directory directory = FSDirectory.open(new File("c:\\temp\\index").toPath());
        //基于directory对象创建一个IndexWriter对象
        IndexWriter indexWriter = new IndexWriter(directory, new IndexWriterConfig());
        //读取磁盘上的文件
        File dir = new File("C:\\Users\\liu\\Desktop\\searchsource");
        //原始文档的路径
        File[] files = dir.listFiles();
        for (File f : files) {
            String name = f.getName();
            String filePath = f.getPath();
            String fileContent = FileUtils.readFileToString(f, "utf-8");
            long fileSize = FileUtils.sizeOf(f);
            //创建Field
            //第一个参数：域的名称
            //第二个参数：域的内容
            //第三个参数：是否存储
            Field fieldName = new TextField("name", name, Field.Store.YES);
            //文件路径域（不分析、不索引、只存储）
            Field fieldPath = new TextField("path", filePath, Field.Store.YES);
            //文件内容域
            Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
            //文件大小域
            Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
            //创建文档对象
            Document document = new Document();
            document.add(fieldName);
            document.add(fieldPath);
            document.add(fieldContent);
            document.add(fieldSize);
            //把文档对象写入索引库
            indexWriter.addDocument(document);

        }
        //关闭indexwriter
        indexWriter.close();
    }

createIndex方法运行后会在c:\\temp\\index文件夹下生成索引文件,如下图:

生成的索引文件为二进制文件,可以使用luke打开索引

查看索引

luck开始界面如下,在indexPath中选择索引存储位置文件夹即可

查询索引

第一步：创建一个Directory对象，也就是索引库存放的位置。

第二步：创建一个indexReader对象，需要指定Directory对象。

第三步：创建一个indexsearcher对象，需要指定IndexReader对象

第四步：创建一个TermQuery对象，指定查询的域和查询的关键词。

第五步：执行查询。

第六步：返回查询结果。遍历查询结果并输出。

第七步：关闭IndexReader对象

代码如下:

    @Test
    public void searchIndex() throws Exception {
        //指定索引库存放的路径
        Directory directory = FSDirectory.open(new File("c:\\temp\\index").toPath());
        //创建indexReader对象
        IndexReader indexReader = DirectoryReader.open(directory);
        //创建indexsearcher对象
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
        //创建查询
        Query query = new TermQuery(new Term("content", "spring"));

        //执行查询
        //第一个参数是查询对象，第二个参数是查询结果返回的最大值
        TopDocs topDocs = indexSearcher.search(query, 10);
        //查询结果的总条数
        System.out.println("查询总记录数:" + topDocs.totalHits);
        //遍历查询结果
        //topDocs.scoreDocs存储了document对象的id

        ScoreDoc[] scoreDocs = topDocs.scoreDocs;

        for (ScoreDoc doc : scoreDocs) {
            //scoreDoc.doc属性就是document对象的id
            //根据document的id找到document对象

            int docId = doc.doc;
            Document document = indexSearcher.doc(docId);
            System.out.println(document.get("name"));
            System.out.println(document.get("path"));
            System.out.println(document.get("size"));
            System.out.println(document.get("content"));
            System.out.println("--------------------------");
        }
        //关闭indexreader对象
        indexReader.close();

    }

部分查询结果如下图: