Lucene入门

最新推荐文章于 2024-05-03 21:05:18 发布

笑-_-笑

最新推荐文章于 2024-05-03 21:05:18 发布

阅读量361

点赞数

分类专栏：框架学习文章标签： Lucene 搜索引擎

本文链接：https://blog.csdn.net/weixin_44270855/article/details/108044882

版权

框架学习专栏收录该内容

12 篇文章 0 订阅

订阅专栏

文章目录

一、全文检索概述

1. 数据的分类

我们生活中的数据总体分为两种：结构化数据和非结构化数据。

结构化数据：指具有固定格式或有限长度的数据，如数据库中的数据。
非结构化数据：指不定长或无固定格式的数据，如邮件、word文档、html等。

2. 数据的查询

结构化数据的查询
常见的结构化数据也就是数据库中的数据。在数据库中搜索很容易实现，通常都是使用SQL语句进行查询，而且能很快的得到查询结果。
非结构化数据的查询
- 顺序扫描法(Serial Scanning)
  所谓顺序扫描，比如要找内容包含某一个字符串的文件，就是一个文档一个文档的看，对于每一个文档，从头看到尾，如果此文档包含此字符串，则此文档为我们要找的文件，接着看下一个文件，直到扫描完所有的文件。
- 全文检索(Full-text Search)
  将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引。
  
  这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。
  
  虽然创建索引的过程也是非常耗时的，但是索引一旦创建就可以多次使用，全文检索主要处理的是查询，所以耗时间创建索引是值得的。

3. 全文检索的应用场景

对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如：

搜索引擎：百度、Google、搜狗等。
站内搜索：论坛搜索、微博等。
电商搜索：淘宝、京东搜索等。

二、Lucene实现全文检索的流程

Lucene是一个基于Java开发的全文检索工具包。Lucene实现全文检索主要分为两部分：创建索引和查询索引。流程图如下：
在这里插入图片描述

1. 创建索引

是对文档索引的过程，将用户要搜索的文档内容进行索引，索引存储在索引库（index）中。

1.1 获得原始文档

原始文档是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。

搜索引擎：使用爬虫获得原始文档
站内搜索：数据库中的数据
磁盘上文件的内容：文件IO流读取文本文件的内容

1.2 构建文档对象

对应每个原始文档创建一个Document对象。Document中包括一些Field（file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容），如下图：

在这里插入图片描述

【注意】：

每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同）。
每个文档都有一个唯一的编号，就是文档id。

1.3 分析文档（分词）

将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词（无意义的词）等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。
例如：下边的文档经过分析如下

原文档内容：
Lucene is a Java full-text search engine. Lucene is not a complete application, but rather a code library and API that can easily be used to add search capabilities to applications.

分析后得到的语汇单元：
lucene、java、full、search、engine…
每个单词叫做一个Term，不同的域中拆分出来的相同的单词是不同的Term。
Term中包含两部分一部分是文档的域名，另一部分是单词的内容。
例如：文件名中包含"spring"和文件内容中包含"spring"是不同的Term。

1.4 创建索引

对所有文档分析得出的语汇单元进行索引，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。
创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫**倒排索引结构**。
倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它的规模较小，而文档集合较大。
传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。

2. 查询索引

查询索引也是搜索的过程。搜索就是用户输入关键字，从索引（index）中进行搜索的过程。根据关键字搜索索引，根据索引找到对应的文档，从而找到要搜索的内容。

2.1 用户查询接口

全文检索系统提供用户搜索的界面供用户提交搜索的关键字，搜索完成展示搜索结果。例如：
Lucene不提供制作用户搜索界面的功能，需要根据自己的需求开发搜索界面。

2.2 创建查询

用户输入查询关键字执行搜索之前需要先构建一个查询对象，查询对象中可以指定查询要搜索的Field文档域、查询关键字等，查询对象会生成具体的查询语法。
如：语法 fileName:lucene表示要搜索Field域的内容为lucene的文档。

2.3 执行查询

搜索索引过程：根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。

2.4 渲染结果

以一个友好的界面将查询结果展示给用户。为了帮助用户很快找到自己的结果，提供了很多展示的效果，比如搜索结果中将关键字高亮显示，百度提供的快照等。

三、Lucene入门案例

1. 入门准备

Step1：准备原始文档
Step2：下载lucene，导入jar包
- lucene-core-7.4.0.jar
- lucene-analyzers-common-7.4.0.jar
- commons-io-2.6.jar
- junit-4.12.jar

2. 创建索引

创建索引的实现步骤及代码实现如下所示：

public class LuceneFirst {

    @Test
    public void createIndex() throws  Exception{
        //1、创建一个directory对象，指定索引库保存位置
        //把索引库保存在内存中
        //Directory directory = new RAMDirectory();
        //把索引库保存在磁盘中
        Directory directory = FSDirectory.open(new File("D:\\MyExerciseDemo\\lucene_content\\temp_index_directory\\index_first").toPath());
        //2、基于directory对象创建一个IndexWriter对象
        IndexWriter indexWriter = new IndexWriter(directory, new IndexWriterConfig());
        //3、读取磁盘上的文件，对应每个文件创建一个文档对象
        File dir = new File("D:\\MyExerciseDemo\\lucene_content\\lucene_project\\lucene_first\\searchsource");
        File[] files = dir.listFiles();

        for (File f : files){
            //取文件名
            String fileName = f.getName();
            //文件的路径
            String filePath = f.getPath();
            //文件的内容
            String fileContent = FileUtils.readFileToString(f,"utf-8");
            //文件的大小
            long fileSize = FileUtils.sizeOf(f);

            //创建Field
            //参数1：域的名称，参数2：域的内容，参数3：是否存储
            Field fieldName = new org.apache.lucene.document.TextField("name", fileName, Field.Store.YES);
            Field fieldPath = new org.apache.lucene.document.TextField("path", filePath, Field.Store.YES);
            Field fieldContent = new org.apache.lucene.document.TextField("content", fileContent, Field.Store.YES);
            Field fieldSize = new org.apache.lucene.document.TextField("size", fileSize+"", Field.Store.YES);

            //创建文档对象
            Document document = new Document();
            //4、向文档对象中添加域
            document.add(fieldName);
            document.add(fieldPath);
            document.add(fieldContent);
            document.add(fieldSize);

            //5、把文档对象写入索引库
            indexWriter.addDocument(document);
        }
        //6、关闭indexwriter对象
        indexWriter.close();
    }
}

创建索引结果如下：
在这里插入图片描述
使用luck查询索引库中的内容，结果如下：

3. 查询索引

查询索引的实现步骤及代码实现如下所示：

public class LuceneFirst {

    @Test
    public void searchIndex() throws Exception{
        //1、创建一个directory对象，指定索引库保存位置
        Directory directory = FSDirectory.open(new File("D:\\MyExerciseDemo\\lucene_content\\temp_index_directory\\index_first").toPath());
        //2、创建一个IndexReader对象
        IndexReader indexReader = DirectoryReader.open(directory);
        //3、创建一个IndexSearch对象，构造方法中的参数indexReader对象
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
        //4、创建一个Query对象，TermQuery
        //参数1：关键词所在域；参数2：关键词
        Query query = new TermQuery(new Term("content","spring"));
        //5、执行查询，得到一个TopDocs对象
        //参数1：查询对象；参数2：查询结果返回的最大记录数
        TopDocs topDocs = indexSearcher.search(query, 10);
        //6、取查询结果的总记录数
        System.out.println("查询总记录数："+ topDocs.totalHits);
        //7、取文档列表
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        //8、打印文档中的内容
        for(ScoreDoc doc : scoreDocs){
            //取文档ID
            int docId = doc.doc;
            //根据id取文档对象
            Document document = indexSearcher.doc(docId);
            System.out.println(document.get("name"));
            System.out.println(document.get("path"));
            System.out.println(document.get("size"));
            //System.out.println(document.get("content"));
            System.out.println("----------------------------------");

        }
        //9、关闭indexReader对象
        indexReader.close();
    }
}

查询索引结果（一部分）如下：
在这里插入图片描述

笑-_-笑

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Lucene入门

全文检索是将整本书、整篇文章中的任意内容信息查找出来的检索。它可以根据需要获得全文中有关章、节、段、句、词等信息，计算机程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。
复制链接

扫一扫