java框架复习——lucene

最新推荐文章于 2023-05-29 02:03:01 发布

ww0peo

最新推荐文章于 2023-05-29 02:03:01 发布

阅读量289

点赞数

分类专栏： java基础复习

本文链接：https://blog.csdn.net/qq_35262405/article/details/98897252

版权

java基础复习专栏收录该内容

34 篇文章 0 订阅

订阅专栏

全文检索

全文检索首先将要查询的目标文档中的词提取出来，组成索引（相当于书的目录），通过查询索引达到搜索目标文档的目的。

这种先建立索引，再对索引进行搜索的过程就叫全文检索（Full-text Search）。
在这里插入图片描述
经过几年的发展，全文检索从最初的字符串匹配程序已经演进到能对超大文本、语音、图像、活动影像等非结构化数据进行综合管理的大型软件。

lucene概述

Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

Lucene和搜索引擎不同，Lucene是一套用java或其它语言写的全文检索的工具包，为应用程序提供了很多个api接口去调用，可以简单理解为是一套实现全文检索的类库，搜索引擎是一个全文检索系统，它是一个单独运行的软件。

lucene的索引结构

Lucene的索引结构为倒排索引，倒排文件或倒排索引是指索引对象是文档或者文档集合中的单词等，用来存储这些单词在一个文档或者一组文档中的存储位置，是对文档或者文档集合的一种最常用的索引机制。
在这里插入图片描述
Lucene索引index由若干段(segment)组成，每一段由若干的文档（document）组成，每一个文档由若干的域（field）组成，每一个域由若干的项（term）组成。

项（Term）是最小的索引单位，如果Field进行分析，可能会分析出多个语汇单元（词），每个词就是一个Term项，如果Field不进行分析，整个Field就是一个Term项。

项（Term）直接代表了一个字符串以及其在文件中的位置、出现次数等信息。

域将项和文档进行关联。

建立索引流程

在这里插入图片描述
黄色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括：

采集文档
创建文档
分析文档
索引文档

采集文档

从互联网上、数据库、文件系统中等获取需要搜索的原始信息，这个过程就是信息采集，信息采集的目的是为了对原始内容进行索引。

在Internet上采集信息的软件通常称为爬虫或蜘蛛，也称为网络机器人，爬虫访问互联网上的每一个网页，将获取到的网页内容存储起来。

Lucene不提供信息采集的类库，需要自己编写一个爬虫程序实现信息采集，也可以通过一些开源软件实现信息采集，如下：

Solr（http://lucene.apache.org/solr），solr是apache的一个子项目，支持从关系数据库、xml文档中提取原始数据。
Nutch（http://lucene.apache.org/nutch）, Nutch是apache的一个子项目，包括大规模爬虫工具，能够抓取和分辨web网站数据。
jsoup（http://jsoup.org/ ），jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
heritrix（http://sourceforge.net/projects/archive-crawler/files/），Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

创建文档

获取原始内容的目的是为了索引，在索引前需要将原始内容创建成文档（Document），文档中包括一个一个的域（Field），域中存储内容。

这里我们可以将磁盘上的一个文件当成一个document，Document中包括一些Field（file_name文件名称、file_path文件路径、file_size文件大小、file_content文件内容），如下图：
在这里插入图片描述
注意：每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同）

分析文档

将原始内容创建为包含域（Field）的文档（document），需要再对域中的内容进行分析。

分析的过程是经过对原始文档提取单词、将字母转为小写、去除标点符号、去除停用词等过程生成最终的语汇单元，可以将语汇单元理解为一个一个的单词。

分析的示例如下：

原文档内容：
Lucene is a Java full-text search engine.  Lucene is not a complete
application, but rather a code library and API that can easily be used
to add search capabilities to applications.

分析后得到的语汇单元：
lucene、java、full、search、engine。。。。

索引文档

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。

注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。

传统方法是根据文件找到该文件的内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大、搜索慢。
在这里插入图片描述
左边索引词典蓝色为域名，红色为词，通过词找所属的文档。“springmvc.txt”这个词在Document1(springmvc.txt) ，“web”和“spring”在Document1、Document2中都存在。

倒排索引结构也叫反向索引结构，包括索引和文档两部分，索引即词汇表，它的规模较小，而文档集合较大。

查询索引流程

在这里插入图片描述
蓝色表示搜索过程，从索引库中搜索内容，搜索过程包括：

创建查询
执行搜索，从索引库搜索
渲染搜索结果

创建查询

用户输入查询关键字执行搜索之前需要先构建一个查询对象，查询对象中可以指定查询要搜索的Field文档域、查询关键字等，查询对象会生成具体的查询语法。

比如：

语法 “fileName:spring.txt”表示要搜索Field域的内容为“spring.txt”的文档
语法 “lucene AND java” 表示要搜索即包括关键字“lucene”也包括“java”的文档

执行搜索

1.根据查询语法在倒排索引词典表中分别找出对应搜索词的索引，从而找到索引所链接的文档链表。

比如搜索语法为“lucene AND java”表示搜索出的文档中即要包括lucene也要包括java
在这里插入图片描述
2.由于是AND，所以要对包含lucene或java词语的链表进行交集，得到文档链表应该包括每一个搜索词语。

3.获取文档中的Field域数据。

渲染搜索结果

Lucene不提供制作用户搜索界面的功能，需要根据自己的需求开发搜索界面。
在这里插入图片描述

Document和Field

Document

Document文档是Lucene搜索的单位，最终要将文档中的数据展示给用户，文档中包括多个Field。

在设计文档对象时，可以将一个Document对应关系数据库的一条记录，字段对应Field，但是要注意：Document结构属于NOSql（非关系），不同的Document包括不同的Field，建议将相同类型数据的Document保持Field一致，方便管理维护，避免将不同类型Field数据融合在一个Document中。

//创建索引文档
Document doc = new Document();
//创建文档域
//第一个参数：域的名称、第二个参数：域的值、第三个参数：是否存储Store.YES存储Store.NO不存储。
Field nameTf = new TextField("name", fileName, Store.YES);
Field contentTf = new TextField("content", content, Store.YES);
Field pathTf = new TextField("path", path, Store.YES);
Field sizeTf = new LongField("size", size, Store.YES);
//把域添加到索引的文档中
doc.add(nameTf);
doc.add(contentTf);
doc.add(pathTf);
doc.add(sizeTf);

Field

Field是文档中的域，包括Field名和Field值两部分，一个文档可以包括多个Field，Document只是Field的一个承载体，Field值即为要索引的内容，也是要搜索的内容。

是否分析(tokenized)

是：将Field值分析出语汇单元即作分词处理，将词进行索引
比如：商品名称、商品简介等，这些内容用户要输入关键字搜索，由于搜索的内容格式大、内容多需要分析后将语汇单元索引。
否：不作分词处理
比如：商品id、订单号、身份证号等

是否索引(indexed)

是：将Field分析后的词或整个Field值进行索引，只有索引方可搜索到。
比如：商品名称、商品简介分析后进行索引，订单号、身份证号不用分析但也要索引，这些将来都要作为查询条件。
否：不索引无法搜索到
比如：商品id、文件路径、图片路径等，不用作为查询条件的不用索引。

是否存储(stored)

是：将Field值存储在文档中，存储在文档中的Field才可以从Document中获取
比如：商品名称、订单号，凡是将来要从Document中获取的Field都要存储。
否：不存储Field值，不存储的Field无法通过Document获取
比如：商品简介，内容较大不用存储。如果要向用户展示商品简介可以从系统的关系数据库中获取商品简介。

Field的常用类型
在这里插入图片描述

使用时需要根据需求，例如

文件名称：不分析、索引、存储，使用StringField方法
文件路径：不分析、不索引、存储，使用StoredField方法
文件大小：分析、索引、存储，使用LongField方法
文件内容：分析，索引，不存储，使用TextField方法

IndexWriter和Directory

IndexWriter是索引过程的核心组件，通过IndexWriter可以创建新索引、更新索引、删除索引操作。IndexWriter需要通过Directory对索引进行存储操作。

Directory描述了索引的存储位置，底层封装了I/O操作，负责对索引进行存储。它的子类常用的包括FSDirectory（在文件系统存储索引）、RAMDirectory（在内存存储索引）。

lucene的建立本地索引的示例

这里是把一个文件夹里的文件建立索引存储在本地的索引文件中

public void addIndex() throws Exception {
	//创建目录对象
	Directory dir = FSDirectory.open(new File("E:\\工作\\java\\课件\\java EE\\互联网\\lucene\\index_loc"));
	//创建分词器对象
	Analyzer al = new StandardAnalyzer();
	//创建索引配置对象
	IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, al);
	//创建写索引的对象
	IndexWriter writer = new IndexWriter(dir, config);
	//获得源文件的路径
	File oriFile = new File("F:\\slor和redis\\day75_Lucene\\00.参考资料\\searchsource");
	File[] files = oriFile.listFiles();
	for(File file : files ){
		//文件名字
		String fileName = file.getName();
		//文件内容
		String content = FileUtils.readFileToString(file);
		//文件路径
		String path = file.getPath();
		//文件大小
		long size = FileUtils.sizeOf(file);
		//创建索引文档
		Document doc = new Document();
		//创建文档域
		//第一个参数：域的名称、第二个参数：域的值、第三个参数：是否存储Store.YES存储Store.NO不存储。
		Field nameTf = new TextField("name", fileName, Store.YES);
		Field contentTf = new TextField("content", content, Store.YES);
		Field pathTf = new TextField("path", path, Store.YES);
		Field sizeTf = new LongField("size", size, Store.YES);
		//把域添加到索引的文档中
		doc.add(nameTf);
		doc.add(contentTf);
		doc.add(pathTf);
		doc.add(sizeTf);
		//在索引库中添加文档
		writer.addDocument(doc);
	}
	//关闭索引流
	writer.close();
}

Luke的简单使用

Luke作为Lucene工具包中的一个工具（http://www.getopt.org/luke/ ），用于查询、修改lucene的索引文件。

打开Luke方法：

cmd运行：java  -jar lukeall-4.10.3.jar

如果需要加载第三方分词器，如果需要加载第三方分词器，需通过java.ext.dirs加载jar包。

可简单的将第三方分词器和lukeall放在一块儿，cmd下运行：

java -Djava.ext.dirs=. -jar lukeall-4.10.3.jar

在这里插入图片描述

IndexSearcher和IndexReader

通过IndexSearcher执行搜索，构建IndexSearcher需要IndexReader读取索引目录，如下图：
在这里插入图片描述
创建过程如下

// 指定 目录
File folder = new File(indexFolder);
Directory directory = FSDirectory.open(folder);
// indexReader
IndexReader indexReader = DirectoryReader.open(directory);
// 定义indexSearcher
IndexSearcher indexSearcher = new IndexSearcher(indexReader);

TopDocs

Lucene搜索结果可通过TopDocs遍历，TopDocs类提供了少量的属性，如下：
在这里插入图片描述

TopDocs.totalHits：是匹配索引库中所有记录的数量
TopDocs.scoreDocs：匹配相关度高的前边记录数组，scoreDocs的长度小于等于search方法指定的参数n

分析器

注意：搜索使用的分析器要和索引使用的分析器一致。

Analyzer分析器

输入关键字进行搜索，当需要让该关键字与文档域内容所包含的词进行匹配时需要对文档域内容进行分析，需要经过Analyzer分析器处理生成语汇单Token。

分析器分析的对象是文档中的Field域。当Field的属性tokenized（是否分词）为true时会对Field值进行分析，如下图：
在这里插入图片描述
对于一些Field可以不用分析：

1.不作为查询条件的内容，比如文件路径
2.不是匹配内容中的词而匹配Field的整体内容，比如订单号、身份证号等。

Analyzer是一个抽象类，在Lucene的lucene-analyzers-common包中提供了很多分析器，比如：org.apache.lucene.analysis.standard.standardAnalyzer标准分词器，它是Lucene的核心分词器，它对分析文本进行分词、大写转成小写、去除停用词、去除标点符号等操作过程。
在这里插入图片描述
从一个Reader字符流开始，创建一个基于Reader的Tokenizer分词器，经过三个TokenFilter生成语汇单元Token。

TokenStream

TokenStream是语汇单元流，tokenStream是一个抽象类，它是所有分析器的基类。

Tokenizer是分词器，负责将reader转换为语汇单元即进行分词，Lucene提供了很多的分词器，也可以使用第三方的分词，比如IKAnalyzer一个中文分词器。

tokenFilter是分词过滤器，负责对语汇单元进行过滤，tokenFilter可以是一个过滤器链儿，Lucene提供了很多的分词器过滤器，比如大小写转换、去除停用词等。

分词示例

//创建分析器
Analyzer analyzer = new StandardAnalyzer();
//得到TokenStream
TokenStream tokenStream = analyzer.tokenStream("content", new StringReader("Lucene is a Java full-text search engine"));
//设置tokenStream初始状态，否则会抛异常
tokenStream.reset();
//设置要获取分词的偏移量
OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
//设置要获取分词的项
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
while(tokenStream.incrementToken()){
	System.out.println("-----------------");
	//起始偏移量
	System.out.print("-->"+offsetAttribute.startOffset());
	//截止偏移量
	System.out.print("-->"+offsetAttribute.endOffset());
	//分词项的值
	System.out.println("-->"+new String(charTermAttribute.toString()));
	
}

中文分词器

Lucene自带的中文分词器

StandardAnalyzer：
单字分词：就是按照中文一个字一个字地进行分词。如：“我爱中国”，
效果：“我”、“爱”、“中”、“国”。
CJKAnalyzer
二分法分词：按两个字进行切分。如：“我是中国人”，效果：“我是”、“是中”、“中国”“国人”。

显然上边两个分词器无法满足需求

第三方产品ik-analyzer

IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。

从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

IKAnalyzer继承Lucene的Analyzer抽象类，使用IKAnalyzer和Lucene自带的分析器方法一样，将Analyzer测试代码改为IKAnalyzer测试中文分词效果。

//创建分析器
Analyzer analyzer = new IKAnalyzer();
//得到TokenStream
TokenStream tokenStream = analyzer.tokenStream("content", new StringReader("我是中国人！"));

同时IK分词器还可以实现自定义词库

在classpath下定义IKAnalyzer.cfg.xml文件，如下

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">  
<properties>  
 
    <comment>IK Analyzer 扩展配置</comment>
    <!-- 用户可以在这里配置自己的扩展字典 -->
     <entry key="ext_dict">dicdata/mydict.dic</entry> 
     <!-- 用户可以在这里配置自己的扩展停用词字典    -->
    <entry key="ext_stopwords">dicdata/ext_stopword.dic</entry> 
</properties>

创建查询

对要搜索的信息创建Query查询对象，Lucene会根据Query查询对象生成最终的查询语法，类似关系数据库Sql语法一样Lucene也有自己的查询语法，比如：“name:lucene”表示查询Field的name为 “lucene”的文档信息。

可通过两种方法创建查询对象：

使用Lucene提供Query子类
Query是一个抽象类，lucene提供了很多查询对象，比如TermQuery项精确查询，NumericRangeQuery数字范围查询等。
Query query = new TermQuery(new Term("name", "lucene"));
使用QueryParse解析查询表达式
QueryParse会将用户输入的查询表达式解析成Query对象实例。
QueryParser queryParser = new QueryParser("name", new IKAnalyzer());
Query query = queryParser.parse("name:lucene");

Query

TermQuery

TermQuery，通过项查询，TermQuery不使用分析器所以建议匹配不分词的Field域查询，比如订单号、分类ID号等。

//创建查询对象
Query query = new TermQuery(new Term("fileName", "springmvc_test.txt"));
//搜索索引 目录 
Directory directory = FSDirectory.open(new File(indexFolder));
//定义IndexReader
IndexReader reader = DirectoryReader.open(directory);
//创建indexSearcher
IndexSearcher indexSearcher = new IndexSearcher(reader);
//执行搜索
TopDocs topDocs = indexSearcher.search(query, 100);

NumericRangeQuery

NumericRangeQuery，指定数字范围查询，如下：

//文件大小在0到1024的文件
NumericRangeQuery<Long> numericRangeQuery = NumericRangeQuery
				.newLongRange("fileSize", 0l, 1024l, true, true);

BooleanQuery

//定义Boolean查询
BooleanQuery booleanQuery = new BooleanQuery();
//必须满足fileSize在0到1024范围的条件
booleanQuery.add(numericRangeQuery, Occur.MUST);
//根据文件名搜索
Query query = new TermQuery(new Term("fileName", "springmvc.txt"));
//不查询文件名为“springmvc_test.txt”
booleanQuery.add(query, Occur.MUST);
IndexReader reader = DirectoryReader.open(directory);
IndexSearcher searcher = new IndexSearcher(reader);
TopDocs topDocs = searcher.search(booleanQuery, 100);

说明：

Occur.MUST 查询条件必须满足，相当于and
Occur.SHOULD 查询条件可选，相当于or
Occur.MUST_NOT 查询条件不能满足，相当于not非

QueryParser

简单的域查询

//f是默认搜索的域
QueryParser queryParser = new QueryParser("f", analyzer);
// 指定查询语法 ，如果不指定fileName就搜索默认的域
Query query2 = queryParser.parse("fileName:springmvc.txt");
//或者
//Query query2 = queryParser.parse("spring AND web");

查询语法

项查询：

FieldName : value

范围查询：

FieldName:[min TO max]

注意：QueryParse不支持对数字范围的搜索，它支持字符串范围。数字范围搜索建议使用NumericRangeQuery。

组合查询：

上边BooleanQuery例子的查询表达式如下：

+fileSize:[0 TO 1024] +fileName:springmvc.txt

上边的表达式表示fileSize的大小在0和1024之间且fileName为“springmvc.txt”，必须满足的条件使用+（加号）表示。

与BooleanQuery中Occur对应的符号如下：
在这里插入图片描述

MultiFieldQueryParser组合域查询

//设置组合查询域
String[] fields = {"fileName","fileContent"};
//创建查询解析器
QueryParser queryParser =  new MultiFieldQueryParser(fields, new IKAnalyzer());
//查询文件名、文件内容中包括“java”关键字的文档
Query query = queryParser.parse("java");

查询示例

public class SearchTest {
	// 索引目录地址
	private static String indexFolder = "F:\\develop\\lucene\\indexdata";
 
	//查询方法
	@Test
	public void testTermQuery() throws IOException {
 
		// 创建查询对象，根据文件名称域搜索匹配文件名称的文档
		Query query = new TermQuery(new Term("fileName", "springmvc_test.txt"));
 
		// 指定索引目录
		Directory directory = FSDirectory.open(new File(indexFolder));
 
		// 定义IndexReader
		IndexReader reader = DirectoryReader.open(directory);
		// 创建indexSearcher
		IndexSearcher indexSearcher = new IndexSearcher(reader);
		// 执行搜索
		TopDocs topDocs = indexSearcher.search(query, 100);
		// 提取搜索结果
		ScoreDoc[] scoreDocs = topDocs.scoreDocs;
 
		System.out.println("共搜索到总记录数：" + topDocs.totalHits);
 
		for (ScoreDoc scoreDoc : scoreDocs) {
			// 文档id
			int docID = scoreDoc.doc;
			// 得到文档
			Document doc = indexSearcher.doc(docID);
			// 输出 文件内容
			IndexUtils.printDocumentOfFile(doc);
		}
 
	}

IndexUtils.printDocumentOfFile()方法：

//从文档中读取文件内容 
public static void printDocumentOfFile(Document doc){
   System.out.println("------------------------------");
   System.out.println("文件名称 =" + doc.get("fileName"));
   System.out.println("文件大小 =" + doc.get("fileSize"));
   System.out.println("文件内容 =" + doc.get("fileContent"));
}

索引维护

添加索引

前面也已经提到过了

步骤：

创建存放索引的目录Directory
创建索引器配置管理类IndexWriterConfig
使用索引目录和配置管理类创建索引器
使用索引器将Document写到索引文件中

索引删除

删除全部索引

// 索引目录
Directory directory = FSDirectory.open(new File(indexFolder));
 
// 定义索引操作对象
IndexWriter indexWriter = new IndexWriter(directory,
		new IndexWriterConfig(Version.LUCENE_4_10_3,
				new StandardAnalyzer()));
 
//删除全部索引
indexWriter.deleteAll();

删除指定索引

// 索引目录
Directory directory = FSDirectory.open(new File(indexFolder));
 
// 定义索引操作对象
IndexWriter indexWriter = new IndexWriter(directory,
		new IndexWriterConfig(Version.LUCENE_4_10_3,
				new StandardAnalyzer()));
 
// 删除索引，文件名称等于“springmvc.txt”的索引删除
indexWriter.deleteDocuments(new Term("fileName", "springmvc.txt"));
//索引删除后无法恢复
indexWriter.commit();
// 关闭索引操作流
indexWriter.close();

索引更新

更新索引是先删除再添加，建议对更新需求采用此方法并且要保证对已存在的索引执行更新，可以先查询出来，确定更新记录存在执行更新操作。

// 索引目录
Directory directory = FSDirectory.open(new File(indexFolder));
// 定义索引操作对象
IndexWriter indexWriter = new IndexWriter(directory,
		new IndexWriterConfig(Version.LUCENE_4_10_3,
				new StandardAnalyzer()));
 
// 创建更新文档
Document doc_update = new Document();
Field field_fileName = new TextField("fileName", "springmvc.txt",
		Store.YES);
doc_update.add(field_fileName);
 
// 根据条件更新索引,将fileName等于“springmvc_test.txt”的更新为上边的文档
// 更新的机制 是先删除再添加，如果原根据fileName没有找到“springmvc_test.txt”，则添加新文档
indexWriter.updateDocument(new Term("fileName", "springmvc_test.txt"),
		doc_update);
//提交
indexWriter.commit();
//关闭
indexWriter.close();

ww0peo

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
java框架复习——lucene

目录全文检索lucene概述lucene的索引结构建立索引流程采集文档创建文档分析文档索引文档查询索引流程创建查询执行搜索渲染搜索结果Document和FieldIndexWriter和Directorylucene的建立本地索引的示例Luke的简单使用IndexSearcher和IndexReaderTopDocs分析器Analyzer分析器TokenStream分词示例中文分词器Lucene自...
复制链接

扫一扫