Lucene的简介与入门

一、什么是全文检索

1.数据分类

• 结构化数据

指具有固定格式或有限长度的数据，如Oracle或Mysql中的数据。
使用SQL语句查询结构化数据，速度快
数据量大时，可以在数据库中建立索引，但此时创建的索引不支持模糊查询，需要创建另外一套索引库。

• 非结构化数据

指不定长度和固定格式的数据，如邮件、word文档等磁盘上的文件。

2.结构化数据搜索

常见的结构化数据也就是数据库只能够的数据。在数据库中搜索很容易实现，通常都是使用sql语句进行查询，而且能够很快的得到查询结果。

• 为什么数据库搜索很容易呢？

因为数据库中的数据存储是有规律的，有行有列而且数据格式，数据长度都是固定的

3.非结构化数据搜索的方法

• 顺序扫描法

所谓的顺序检索，就是在查找某一个字符串文件时，会一个一个文档去一一查看，对于每一个文档都会从头看到尾，直到找到某文档包含该字符串，则返回此文档，速度是相当的慢。

• 全文检索

将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定的结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。
这种先建立索引，再对索引进行搜索的过程叫做全文搜索。

4.如何实现全文检索

Lucene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎，Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

5.全文检索的应用场景

• 对于数据量大、数据结构不固定的数据 可采用全文检索的方式搜索
• 比如百度、搜狗、360、论坛站内搜索、京东、淘宝、电商网站站内搜索等等。

二、Lucene实现全文检索

1.Lucene实现全文检索的流程

• 1.绿色表示索引过程，对要搜索的原始内容进行索引构建一个索引库，索引过程包括

确定原始内容–>采集文档–>创建文档–>分析文档–>索引文档

• 2.红色表示搜索过程，从索引库中搜索内容，搜索过程包括

用户通过搜索界面–>创建查询–>执行搜索–>渲染搜索结果

2.Lucene实现全文检索的流程2

1）创建索引

• 获取源文档
  • 什么是源文档？

  场景一：搜索引擎：指的是互联网上的所有网页
  场景二：站内搜索：指的是磁盘上的文件或表中的数据

  • 获取源文档的方式？

  场景一：搜索引擎：网络爬虫
  场景二：站内搜索：IO流、SQL查询

2）构建文档对象

一个Document对象中放的是：一个网页内容、一个文件内容、或表中某行某列的数据、

3）对内容进行分词

• ①、一个文件包含的信息：
  document
  1、文件名称
  2、文件大小
  3、文件路径
  4、文件内容
• ②、一个网页包含的信息：
  document
  1、网络地址URL
  2、网页标题
  3、网页内容
• ③、一条数据包含的信息：
  document
  一条数据每个列的内容
  有多少列就应该创建多少个域
• 分词效果：
  原内容：The Spring Framework provides a comprehensive programming and configuration model.
• 分词的处理方式：
  1、按空格分词
  2、处理大小写
  3、停用词
  4、标点符号
• 最后的效果：
  term
  name:spring
  content:spring
  content:framework
  content:provides
  content:comprehensive
  content:programming
  content:configuration
  content:model

4）创建索引（存储）

• 分词后的格式：
  name: spring

自定义的域名称、spring是此域中的值、name: spring就是一个词汇term
一个文档中可以有多个域，不同的文档可以有不同的域
创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫做倒排索引结构，比如新华字典。

查询索引

1）用户查询接口：就是用户输入关键字的位置
2）创建查询
3）执行查询
4）渲染结果

三、Lucene入门案例

1.配置开发环境

• 不需要什么安装，只需要在创建项目时导入一下相应的jar包即可。
• lucene-core-4.10.3.jar
• lucene-analyzers-common-4.10.3.jar
• commons-io.jar
  
  导入以上几个jar包即可，普通的Java项目。
• 创建索引库 : indexRepo
• 创建被创建的文档库： searchsource

2.创建索引

场景：给磁盘的文件创建索引
步骤：

1、指定索引库位置   Directory
2、创建写入索引的对象   IndexWriter
3、获取源文档IO流
4、把文档写入索引库  indexWriter.addDocument(doc);
5、关闭资源IndexWriter

package com.lucene.demo;
import java.io.File;
import java.io.IOException;
import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.