为什么要用全文检索技术?
数据库搜索:
- 效率低 索引失效
- “苹果7是个好手机”这种就搜不出来东西
1. 全文检索
1. 概念
1. 数据的分类
- 结构化数据
格式固定、长度固定、数据类型固定。例如:数据库中的数据
- 非结构化数据
word文档、PDF文档、邮件、html、txt
格式不固定、长度不固定、数据类型不固定。
2. 结构化数据的查询
通常使用sql语句进行查询,简单、速度快。
3. 非结构化数据的查询
1. 顺序扫描法 Serial Scanning
比如要找内容包含某一个字符串(如spring)的文件,就是一个文档一个文档的看,从头到尾,如果包含,接着看下一个文件,直到扫描完。windows的搜索、杀毒软件的全盘扫描就是这种。相当慢。
2. 全文检索Full-text Search
将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据进行搜索,达到搜索相对较快的目的。这部分从非结构化数据中提取出来然后重新组织的信息,称为索引。
索引:一个为了提高查询速度,创建某种数据结构的集合,如B+tree
这种先建立索引,再对索引进行搜索的过程就叫全文检索(Full-text Search)。
虽然创建索引的过程非常耗时,但是一旦建立可以多次使用。全文检索主要处理的是查询。
流程:非结构化–>分词、结构化–>创建索引–>查询数据
2. 应用场景
-
搜索引擎
百度、360搜索、谷歌、搜狗
-
站内搜索
论坛搜索、微博、文章搜索
-
电商搜索
淘宝、京东搜索
只要有搜索的地方就可以使用全文检索技术。
3. 如何实现全文检索
使用Lucene。是Apache下的开源项目,提供完整的查询引擎和索引引擎,部分文本分析引擎。
2. Lucene实现全文检索的流程
1. 索引和搜索流程图
就是帮助数据库进行高效获取数据的数据结构,如B+tree
2. 创建索引
1. 获得原始文档
指的是要索引和搜索的内容。包括互联网上的网页、数据库的数据、磁盘的文件等。
搜索引擎:使用爬虫获得原始文档
站内搜索:数据库中的数据
案例:直接使用io流读取磁盘的文件。
2. 构建文档对象
对应每个原始文档创建一个Document对象。
每个document对象包含多个域field
域中保存的就是原始文档数据。
域的名称
域的值
每个文档都有一个唯一的编号,就是文档id
eg. 商品,goods.java name field_name=name field_value=“苹果7”
3. 分析文档
分词的过程。
- 根据空格进行字符串拆分得到单词列表
- 把单词统一转换为小写(或者大写),使得大小写不敏感。
- 去除标点符号
- 去除停用词(无意义的词,如the,a,and)
每个关键词都封装为一个Term对象中。term中包含两部分内容:关键词所在的域;关键词本身。
注意:不同的域中拆分出来的相同的关键词是不同的term。
4. 创建索引
基于关键词列表来创建一个索引。保存到索引库中。
索引库中:索引、document对象和两者对应关系。
倒排索引,通过词语找文档,这种结构叫倒排索引,采用链表
倒排索引结构也叫反向索引结构,包括索引和文档两部分,索引即词汇表,它的规模较小,而文档集合较大。
3. 查询索引
1. 用户查询接口
用户输入查询条件的地方,如:百度搜索框
2. 把关键词封装为一个查询对象
两部分:要查询的域,要搜索的关键词
3. 执行查询
根据要查询的关键词到对应的域上进行搜索。
找到关键词,根据关键词找到对应的文档。
4. 渲染结果
用户友好界面展示,如高亮显示、分页处理等。
4. 入门程序
1. 创建索引
环境
需要下载lucene
最低要求JDK1.8
工程搭建
创建java工程、
添加jar包
- lucene-analyzers-common-7.4.0.jar
- lucene-core-7.4.0.jar
- commons-io.jar
步骤
- 创建一个Directory对象,指定索引库保存的位置。
- 基于Directory对象来创建一个IndexWriter对象
- 读取磁盘的文件,对应每个文件创建一个文档对象
- 向文档对象中添加field
- 把文档对象写入索引库
- 关闭IndexWriter对象
@Test
public void createIndex() throws Exception {
//1、创建一个Director对象,指定索引库保存的位置。
//把索引库保存在内存中
//Directory directory = new RAMDirectory();
//把索引库保存在磁盘
Directory directory = FSDirectory.open(new File("E:\\indexRepo").toPath());
//2、基于Directory对象创建一个IndexWriter对象
IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
IndexWriter indexWriter = new IndexWriter(directory, config);
//3、读取磁盘上的文件,对应每个文件创建一个文档对象。
File dir = new File("E:\\searchsource");
File[] files = dir.listFiles();
for (File f :
files) {
//取文件名
String fileName = f.getName();
//文件的路径
String filePath = f.getPath();
//文件的内容
String fileContent = FileUtils.readFileToString(f, "utf-8");
//文件的大小
long fileSize = FileUtils.sizeOf(f);
//创建Field
//参数1:域的名称,参数2:域的内容,参数3:是否存储
Field fieldName = new TextField("name", fileName, Field.Store.YES);
//Field fieldPath = new TextField("path", filePath, Field.Store.YES);
Field fieldPath = new StoredField("path", filePath);
Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
//Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
Field fieldSizeValue = new LongPoint("size", fileSize);
Field fieldSizeStore = new StoredField("size", fileSize);
//创建文档对象
Document document = new Document();
//向文档对象中添加域
document.add(fieldName);
document.add(fieldPath);
document.add(fieldContent);
//document.add(fieldSize);
document.add(fieldSizeValue);
document.add(fieldSizeStore);
//5、把文档对象写入索引库
indexWriter.addDocument(document);
}
//6、关闭indexwriter对象
indexWriter.close();
}
2. 使用luke查看索引库中的内容
3. 查询索引库
步骤
- 创建一个Director对象,指定索引库的位置
- 创建一个IndexReader对象
- 创建一个IndexSearcher对象,构造方法中的参数indexReader对象
- 创建一个Query对象,TermQuery
- 执行查询,得到一个TopDocs对象
- 取查询结果的总记录数
- 取文档列表
- 打印文档中的内容
- 关闭indexReader对象
@Test
public void searchIndex() throws Exception{
//1. 创建一个Director对象,指定索引库的位置
Directory directory = FSDirectory.open(new File("E:\\indexRepo").toPath());
//2. 创建一个IndexReader对象
IndexReader indexReader = DirectoryReader.open(directory);
//3. 创建一个IndexSearcher对象,构造方法中的参数indexReader对象
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//4. 创建一个 Query对象,TermQuery
Query query = new TermQuery(new Term("content","spring"));
//5. 执行查询,得到一个TopDocs对象
// 参数1 查询对象 参数2 查询结果返回的最大记录数
TopDocs topDocs = indexSearcher.search(query, 10);
// 6. 取查询结果的总记录数
System.out.println("查询总记录数:"+topDocs.totalHits);
//7. 取文档列表
ScoreDoc[] scoreDocs = topDocs.scoreDocs;
//8. 打印文档中的内容
for (ScoreDoc doc : scoreDocs) {
// 取文档id
int docId = doc.doc;
// 根据id获取文档对象
Document document = indexSearcher.doc(docId);
System.out.println(document.get("name"));
System.out.println(document.get("path"));
System.out.println(document.get("size"));
// System.out.println(document.get("content"));
System.out.println("----------分割线-------------");
}
//9. 关闭indexReader对象
indexReader.close();
}
5. 分析器
默认使用标准分析器StandardAnalyzer,中文采用IKAnalyzer
1. 查看分析器的分析效果
使用Analyzer对象的tokenStream方法,返回一个tokenStream对象,词对象包含最终分词结果。
public final TokenStream tokenStream(String fieldName, Reader reader)
实现步骤:
- 创建一个Analyzer对象,StandardAnalyzer对象
- 使用分析器对象的tokenStream方法获得一个tokenStream对象
- 向token对象中设置一个引用,相当于一个指针
- 调用tokenStream对象的reset方法,重置指针,如果不调用抛出异常
- 使用while循环遍历tokenStream对象
- 关闭tokenStream对象
2. IKAnalizer的使用方法
- 把IKAnalyzer的jar包添加到工程中
- 把配置文件和扩展词典添加到工程的classpath下。
注意:扩展词典严禁使用windows记事本编辑,保证扩展词典的编辑格式是utf-8
扩展词典:添加一些新词
停用词词典:无意义的词或者敏感词汇
@Test// 添加停用词和常用词没有生效
public void testTokenStream() throws Exception{
// 1. 创建一个Analyzer对象,StandardAnalyzer对象
// Analyzer analyzer = new StandardAnalyzer();
Analyzer analyzer = new IKAnalyzer();
// 2. 使用分析器对象的tokenStream方法获得一个tokenStream对象
TokenStream tokenStream = analyzer.tokenStream("","2017年12月14日 - 传智播客Lucene概述公安局Lucene是一款高性能的、可扩展的信息检索(IR)工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作");
// 3. 向token对象中设置一个引用,相当于一个指针
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
// 4. 调用tokenStream对象的reset方法,重置指针,如果不调用抛出异常
tokenStream.reset();
// 5. 使用while循环遍历tokenStream对象
while(tokenStream.incrementToken()){
System.out.println(charTermAttribute.toString());
}
// 6. 关闭tokenStream对象
tokenStream.close();
}
6. 索引库的维护
1. Field域的属性
是否分析:是否对域的内容进行分词处理。前提是我们要对域的内容进行查询。
是否索引:将Field分析后的词或整个Field值进行索引,只有索引方可搜索到。
比如:商品名称、商品简介分析后进行索引,订单号、身份证号不用分析但也要索引,这些将来都要作为查询条件。
是否存储:将Field值存储在文档中,存储在文档中的Field才可以从Document中获取
比如:商品名称、订单号,凡是将来要从Document中获取的Field都要存储。
path不需要分词,不需要索引,StoredField
身份证号不需要分词,StringField
Field fieldName = new TextField("name", fileName, Field.Store.YES);
//Field fieldPath = new TextField("path", filePath, Field.Store.YES);
Field fieldPath = new StoredField("path", filePath);// 不需要分词和索引,只存储
Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
//Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
// 文件大小查询时需要比较,必须LongPoint,但是也要取出来,StoredField
Field fieldSizeValue = new LongPoint("size", fileSize);// 可以做运算,查询,不能存储
Field fieldSizeStore = new StoredField("size", fileSize);// 存储
2. 添加文档
3. 删除文档
删除全部
根据查询、关键词删除文档
4. 修改文档
修改的原理是先删除再添加
7. 查询
范围查询
- 使用query的子类
- TermQuery
queryParser进行查询