Lucene全文检索技术

最新推荐文章于 2024-07-04 14:41:08 发布
最新推荐文章于 2024-07-04 14:41:08 发布
阅读量151 收藏
点赞数 1
分类专栏： Lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34305603/article/details/108526648
版权

1、 全文检索

先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。

2、 Lucene

Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。可用来实现全文检索。

3、全文检索的应用场景

对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。

4、Lucene实现全文检索的流程

在这里插入图片描述

1. 绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括：确定原始内容即要搜索的内容、采集文档、创建文档、分析文档和索引文档。
2. 红色表示搜索过程，从索引库中搜索内容，搜索过程包括：用户通过搜索界面、创建查询、执行搜索，从索引库搜索和渲染搜索结果。

4.1 创建索引

根据案例描述：凡是文件名或文件内容包括关键字的文件都要找出来，这里要对文件名和文件内容创建索引。索引存储在索引库（index）（自己创建的文件目录下）中。

4.1.1 获得原始文档

原始文档是指要索引和搜索的内容。

4.1.2 创建文档对象Document

  1. 在索引前需要将原始内容创建成文档对象（Document），文档中包括一个一个的域（Field），域中存储内容。（域实际上是k-v格式的）
  2. 磁盘上的每一个文件都是一个Document对象，每个Document中包括一些Field（file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容）
  3. 每个文档都有一个唯一的编号，就是文档id。

在这里插入图片描述

4.1.3 分析文档

需要再对域中的内容进行分析，分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。
每个单词叫做一个Term，不同的域中拆分出来的相同的单词是不同的term。term中包含两部分一部分是文档的域名，另一部分是单词的内容。

4.1.4 创建索引

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。
在这里插入图片描述

注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。
倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它的规模较小，而文档集合较大。
传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。
倒排索引结构是根据内容（词语）找文档，如下图：

在这里插入图片描述

4.2 查询索引

查询索引也是搜索的过程。搜索就是用户输入关键字，从索引（index）中进行搜索的过程。根据关键字搜索索引，根据索引找到对应的文档，从而找到要搜索的内容（这里指磁盘上的文件）。

5、代码演示

5.1 创建索引

5.1.1 实现步骤

lucene-core-7.4.0.jar
lucene-analyzers-common-7.4.0.jar
第一步：创建一个java工程，并导入jar包。
第二步：创建一个indexwriter对象。
   1）指定索引库的存放位置Directory对象
   2）指定一个IndexWriterConfig对象。
第三步：创建document对象。
第四步：创建field对象，将field添加到document对象中。
第五步：使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。
第六步：关闭IndexWriter对象。

5.1.2 代码实现

//创建索引
@Test
public void createIndex() throws Exception {

    //指定索引库存放的路径
    //D:\temp\index
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    //索引库还可以存放到内存中
    //Directory directory = new RAMDirectory();
    //创建indexwriterCofig对象
    IndexWriterConfig config = new IndexWriterConfig();
    //创建indexwriter对象
    IndexWriter indexWriter = new IndexWriter(directory, config);
    //原始文档的路径
    File dir = new File("D:\\temp\\searchsource");
    for (File f : dir.listFiles()) {
        //文件名
        String fileName = f.getName();
        //文件内容
        String fileContent = FileUtils.readFileToString(f);
        //文件路径
        String filePath = f.getPath();
        //文件的大小
        long fileSize  = FileUtils.sizeOf(f);
        //创建文件名域
        //第一个参数：域的名称
        //第二个参数：域的内容
        //第三个参数：是否存储
        Field fileNameField = new TextField("filename", fileName, Field.Store.YES);
        //文件内容域
        Field fileContentField = new TextField("content", fileContent, Field.Store.YES);
        //文件路径域（不分析、不索引、只存储）
        Field filePathField = new TextField("path", filePath, Field.Store.YES);
        //文件大小域
        Field fileSizeField = new TextField("size", fileSize + "", Field.Store.YES);

        //创建document对象
        Document document = new Document();
        document.add(fileNameField);
        document.add(fileContentField);
        document.add(filePathField);
        document.add(fileSizeField);
        //创建索引，并写入索引库
        indexWriter.addDocument(document);
    }
    //关闭indexwriter
    indexWriter.close();
}

注意：使用luke查看索引库
我们可以使用luke的版本是luke-7.4.0，跟lucene的版本对应的。可以打开7.4.0版本的lucene创建的索引库（index目录下）。

5.2 查询索引

5.2.1 实现步骤

第一步：创建一个Directory对象，也就是索引库存放的位置。
第二步：创建一个indexReader对象，需要指定Directory对象。
第三步：创建一个indexsearcher对象，需要指定IndexReader对象
第四步：创建一个TermQuery对象，指定查询的域和查询的关键词。
第五步：执行查询。
第六步：返回查询结果。遍历查询结果并输出。
第七步：关闭IndexReader对象

5.2.2 代码实现

//查询索引库
@Test
public void searchIndex() throws Exception {
    //指定索引库存放的路径
    //D:\temp\index
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    //创建indexReader对象
    IndexReader indexReader = DirectoryReader.open(directory);
    //创建indexsearcher对象
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);
    //创建查询
    Query query = new TermQuery(new Term("filename", "apache"));
    //执行查询
    //第一个参数是查询对象，第二个参数是查询结果返回的最大值
    TopDocs topDocs = indexSearcher.search(query, 10);
    //查询结果的总条数
    System.out.println("查询结果的总条数："+ topDocs.totalHits);
    //遍历查询结果
    //topDocs.scoreDocs存储了document对象的id
    for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        //scoreDoc.doc属性就是document对象的id
        //根据document的id找到document对象
        Document document = indexSearcher.doc(scoreDoc.doc);
        System.out.println(document.get("filename"));
        //System.out.println(document.get("content"));
        System.out.println(document.get("path"));
        System.out.println(document.get("size"));
        System.out.println("-------------------------");
    }
    //关闭indexreader对象
    indexReader.close();
}

6、分析器

6.1 默认分析器

//查看标准分析器的分词效果
@Test
public void testTokenStream() throws Exception {
    //创建一个标准分析器对象
    Analyzer analyzer = new StandardAnalyzer();
    //获得tokenStream对象
    //第一个参数：域名，可以随便给一个
    //第二个参数：要分析的文本内容
    TokenStream tokenStream = analyzer.tokenStream("test", "The Spring Framework provides a comprehensive programming and configuration model.");
    //添加一个引用，可以获得每个关键词
    CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
    //添加一个偏移量的引用，记录了关键词的开始位置以及结束位置
    OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
    //将指针调整到列表的头部
    tokenStream.reset();
    //遍历关键词列表，通过incrementToken方法判断列表是否结束
    while(tokenStream.incrementToken()) {
        //关键词的起始位置
        System.out.println("start->" + offsetAttribute.startOffset());
        //取关键词
        System.out.println(charTermAttribute);
        //结束位置
        System.out.println("end->" + offsetAttribute.endOffset());
    }
    tokenStream.close();
}

6.2 中文分析器

6.2.1 Lucene自带的中文分词器

StandardAnalyzer
   单字分词：就是按照中文一个字一个字地进行分词。如：“我爱中国”，
   效果：“我”、“爱”、“中”、“国”。
SmartChineseAnalyzer
   对中文支持较好，但扩展性差，扩展词库，禁用词库和同义词库等不好处理

6.2.2 IKAnalyzyer

使用方法： 第一步：把jar包添加到工程中
      第二步：把配置文件和扩展词典和停用词词典添加到classpath下。

@Test
public void addDocument() throws Exception {
    //索引库存放路径
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
    //创建一个indexwriter对象
    IndexWriter indexWriter = new IndexWriter(directory, config);
//...
}

7、索引库的维护

7.1 Field域的属性

  1. 是否分析：是否对域的内容进行分词处理。前提是我们要对域的内容进行查询。
  2. 是否索引：将Field分析后的词或整个Field值进行索引，只有索引方可搜索到。
       比如：商品名称、商品简介分析后进行索引，订单号、身份证号不用分析但也要索引，这些将来都要作为查询条件。
  3. 是否存储：将Field值存储在文档中，存储在文档中的Field才可以从Document中获取
       比如：商品名称、订单号，凡是将来要从Document中获取的Field都要存储。
     
    是否存储的标准：是否要将内容展示给用户

7.2 添加文档

//添加索引
@Test
public void addDocument() throws Exception {
    //索引库存放路径
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
    //创建一个indexwriter对象
    IndexWriter indexWriter = new IndexWriter(directory, config);
    //创建一个Document对象
    Document document = new Document();
    //向document对象中添加域。
    //不同的document可以有不同的域，同一个document可以有相同的域。
    document.add(new TextField("filename", "新添加的文档", Field.Store.YES));
    document.add(new TextField("content", "新添加的文档的内容", Field.Store.NO));
    //LongPoint创建索引
    document.add(new LongPoint("size", 1000l));
    //StoreField存储数据
    document.add(new StoredField("size", 1000l));
    //不需要创建索引的就使用StoreField存储
    document.add(new StoredField("path", "d:/temp/1.txt"));
    //添加文档到索引库
    indexWriter.addDocument(document);
    //关闭indexwriter
    indexWriter.close();
}

7.3 删除索引库

//删除全部索引
	@Test
	public void deleteAllIndex() throws Exception {
		IndexWriter indexWriter = getIndexWriter();
		//删除全部索引
		indexWriter.deleteAll();
		//关闭indexwriter
		indexWriter.close();
	}

说明：将索引目录的索引信息全部删除，直接彻底删除，无法恢复。

7.4 索引库的修改

原理就是先删除后添加。

//修改索引库
@Test
public void updateIndex() throws Exception {
    IndexWriter indexWriter = getIndexWriter();
    //创建一个Document对象
    Document document = new Document();
    //向document对象中添加域。
    //不同的document可以有不同的域，同一个document可以有相同的域。
    document.add(new TextField("filename", "要更新的文档", Field.Store.YES));
    document.add(new TextField("content", " Lucene 简介 Lucene 是一个基于 Java 的全文信息检索工具包," +
                                                       "它不是一个完整的搜索应用程序,而是为你的应用程序提供索引和搜索功能。",
                Field.Store.YES));
    indexWriter.updateDocument(new Term("content", "java"), document);
    //关闭indexWriter
    indexWriter.close();
}

8、Lucene的索引库查询

8.1 TermQuery

TermQuery，通过项查询，TermQuery不使用分析器所以建议匹配不分词的Field域查询，比如订单号、分类ID号等。
指定要查询的域和要查询的关键词。

//使用Termquery查询
@Test
public void testTermQuery() throws Exception {
    Directory directory = FSDirectory.open(new File("D:\\temp\\index").toPath());
    IndexReader indexReader = DirectoryReader.open(directory);
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);
    
    //创建查询对象
    Query query = new TermQuery(new Term("content", "lucene"));
    //执行查询
    TopDocs topDocs = indexSearcher.search(query, 10);
    //共查询到的document个数
    System.out.println("查询结果总数量：" + topDocs.totalHits);
    //遍历查询结果
    for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        Document document = indexSearcher.doc(scoreDoc.doc);
        System.out.println(document.get("filename"));
        //System.out.println(document.get("content"));
        System.out.println(document.get("path"));
        System.out.println(document.get("size"));
    }
    //关闭indexreader
    indexSearcher.getIndexReader().close();
}

8.2 数值范围的查询

@Test
public void testRangeQuery() throws Exception {
    IndexSearcher indexSearcher = getIndexSearcher();
    Query query = LongPoint.newRangeQuery("size", 0l, 10000l);
    printResult(query, indexSearcher);
}

8.3 使用QueryParser查询

通过QueryParser也可以创建Query，QueryParser提供一个Parse方法，此方法可以直接根据查询语法来查询。建议创建索引时使用的分析器和查询索引时使用的分析器要一致。
 
需要加入queryParser依赖的jar包。

@Test
public void testQueryParser() throws Exception {
    IndexSearcher indexSearcher = getIndexSearcher();
    //创建queryparser对象
    //第一个参数默认搜索的域
    //第二个参数就是分析器对象
    QueryParser queryParser = new QueryParser("content", new IKAnalyzer());
    Query query = queryParser.parse("Lucene是java开发的");
    //执行查询
    printResult(query, indexSearcher);
}

private void printResult(Query query, IndexSearcher indexSearcher) throws Exception {
    //执行查询
    TopDocs topDocs = indexSearcher.search(query, 10);
    //共查询到的document个数
    System.out.println("查询结果总数量：" + topDocs.totalHits);
    //遍历查询结果
    for (ScoreDoc scoreDoc : topDocs.scoreDocs) {
        Document document = indexSearcher.doc(scoreDoc.doc);
        System.out.println(document.get("filename"));
        //System.out.println(document.get("content"));
        System.out.println(document.get("path"));
        System.out.println(document.get("size"));
    }
    //关闭indexreader
    indexSearcher.getIndexReader().close();
}
天才小熊猫hjy
关注
专栏目录
lucene全文检索
03-27
lucene全文检索，适用于ppt,word,pdf,excel等
lucene全文检索技术培训
11-19
lucene全文检索技术培训，让你超越google，百度的搜索引擎！！！！
lucene_全文检索技术
959
02-11 461
lucene 文章目录lucene1 什么是全文检索1.1 数据的分类1.2 数据的查询1.3 全文检索2 全文检索的应用场景3 什么是Lucene4 Lucene实现全文检索的流程4.1 创建索引4.2 查询索引4.2.1 用户查询接口4.2.2 创建查询4.2.3 执行查询4.2.4 渲染结果5 配置开发环境5.1Lucene下载5.2 使用的jar包6 入门程序6.1 实现步骤6.2 代码实...
全文检索功能（Lucene）
最新发布
you4580的专栏
07-04 1341
Lucene是一个基于java开发全文检索工具包，提供了查询引擎和索引引擎如何实现全文检索：可以使用Lucene实现全文检索。Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。
Lucene-全文索引
weixin_33889245的博客
06-28 96
最近接触了lucene,我想也有很多人曾经听过，于是带着好奇心，我开始对lucene进行了解，给我影响最深的是它非常多的应用了索引表，这个工具之所以快是就是因为大量引用到了索引表。今天只说下我刚开始做的校历例子，创建索引。 下面对lucene从概念上做个介绍，Lucene是一个信息检索的函数库(Library),利用它你可以为你的应...
lucene全文检索基础
1.02^365=1377.41
12-15 3154
信息检索整体流程 一次完整的搜索从用户输入要查询的关键词开始,比如想查找lucene的相关学习资料，我们都会Google或百度中输入关键词，比如输入“lucene, 全文检索框架”,之后系统根据用户输入的关键词返回相关信息。一次检索大致可分为四步：
lucene超基础入门案例分析
motongxue的博客
02-17 278
文章目录―、什么是全文检索1、数据的分类2、数据的査词3、全文检索二、 全文检索的应用场景三、 什么是Lucene四、 Lucene实现全文检索的流程1.创建索引2.查询索引五、入门程序1 ．创建索引2. 使用 luke 查看索引库中的内容3. 查询索引库六、分析器1. 查看分析器的分析效果2. IKAnalyzer 的便用方法（中文分析器）七、索引库维护Field域的属性添加文档删除文档3. 修...
超系统学习Lucene全文检索技术视频教程
03-21
视频详细讲解，需要的小伙伴自行网盘下载，链接见附件，永久有效。 目前业界流行的ElasticSearch和Solr搜索...系统的学习Lucene全文检索技术，全面掌握搜索原理和底层知识，为学习其他应用层面搜索技术打下坚实的基础。
lucene全文检索技术
High__Hand的博客
08-30 373
lucene的介绍         1: lucene是apache下的一个开源的免费的全文检索工具包(就是一堆jar包)         2: lucene的作用: 就是全文检索的作用         3: Lucene的下载          顺序扫描法:(sql中like使用的就是顺序扫描法)         特点: 从文件头扫描到文件尾,直到扫描到关键词为止       
基于Lucene全文检索引擎的应用研究
10-23
Lucene是一个强大的全文索引引擎工具包, 它的全文检索技术是信息检索领域广泛使用的基本技术, 具有访问索引时间快、多用户访问、跨平台使用的特点。介绍了一个高性能的全文检索引擎——Lucene开源系统，详细分析了...
Lucene---全文检索(文档pdf/txt/office/html)
03-20
NULL 博文链接：https://wuquanyin1011.iteye.com/blog/799342
Lucene 全文检索的 各种例子
12-07
各种分词器都用了，有ikAnalyzer和smartChineseAnalyzer等等分词器。使用jdk7，Lucene-core4.5。非常不错。
【Lucene】实现全文索引
liu_sisi的博客
05-21 622
Lucene 实现全文检索 前言：本文是衔接上一篇文章来写的，详情看上一篇 【Lucene】全文检索技术介绍 2. Lucene 实现全文检索的流程 2.1.索引和搜索流程图 绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括：确定原始内容即要搜索的内容 -> 采集文档 -> 创建文档 -> 分析文档 ->索引文档 红色表示搜索过程，从索引库中...
Lucene 全文检索技术入门
欢迎来到跃行者技术博客
07-18 1677
一、 搜索引擎的历史          萌芽：Archie、Gopher          起步：Robot（网络机器人）的出现与spider（网络爬虫）          发展：excite、galaxy、yahoo          繁荣：infoseek，altaVista，Google和baidu   搜索技术发展依赖网络机器人和网络爬虫          网络机器人：互
Lucene全文检索基础
weixin_33851604的博客
07-11 249
---------------------------------------------------------------------------------------------------------------[版权申明：本文系作者原创，转载请注明出处]文章出处：http://blog.csdn.net/sdksdk0/article/det...
Lucene 全文索引
MOREMONEYANDHEALTH
09-17 182
Lucene 全文索引pom.xml配置方法使用实体类(根据具体需求修改) pom.xml配置 <!-- https://mvnrepository.com/artifact/org.apache.lucene/lucene-core --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core</a
Lucene全文检索技术详解
- **全文检索**：全文检索技术关注每个词与查询请求的匹配，而不考虑语义层面的匹配。它在实际应用中最为常见和实用，比如搜索引擎的工作方式。 - **数据检索**：数据检索侧重于结构化数据的查询，通常针对特定字段...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值