初识Lucene

Lucene介绍

一、什么是Lucene

Lucene是apache下的一个开源的全文检索引擎工具包。它为软件开发人员提供一个简单易用的工具包（类库），以方便的在目标系统中实现全文检索的功能。

二、全文检索的应用场景

1）搜索引擎

2）站内搜索

3）文件系统的搜索

三、全文检索的定义

全文检索首先将要查询的目标文档中的词提取出来，组成索引，通过查询索引达到搜索目标文档的目的。这种先建立索引，再对索引进行搜索的过程就叫全文检索（Full-text Search）。

四、全文检索的实现流程

全文检索的流程分为两大部分：索引过程、搜索流程。

索引流程：即采集数据、构建文档对象、分析文档（分词）、创建索引

搜索流程：即用户通过搜索界面创建查询执行搜索，搜索器从搜索库搜索渲染搜索结果

索引流程

为什么采集数据？

全文检索搜索的内容的格式是多种多样的，比如：视频、mp3、图片、文档等等。对于这种格式不同的数据，需要先将他们采集到本地，然后统一封装到lucene的文档对象中，也就是说需要将存储的内容进行统一才能对它进行查询。

采集数据的方式

对于互联网中的数据，使用爬虫工具（http工具）将网页爬取到本地

对于数据库中的数据，使用jdbc程序进行数据采集

对于文件系统的数据，使用io流采集

因为目前搜索引擎主要搜索数据的来源是互联网，搜索引擎使用一种爬虫程序抓取网页（ 通过http抓取html网页信息），

以下是一些爬虫项目：

Solr（http://lucene.apache.org/solr） ，solr是apache的一个子项目，支持从关系数据库、xml文档中提取原始数据。

Nutch（http://lucene.apache.org/nutch）, Nutch是apache的一个子项目，包括大规模爬虫工具，能够抓取和分辨web网站数据。

jsoup（http://jsoup.org/ ），jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

heritrix（http://sourceforge.net/projects/archive-crawler/files/），Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

五、索引文件的逻辑结构

• 文档域

文档域存储的信息就是采集到的信息，通过Document对象来存储，具体说是通过Document对象中field域来存储数据。

比如：数据库中一条记录会存储成一个Document对象，数据库中一列会存储成Document中一个field域。

文档域中，Document对象之间是没有关系的。而且每个Document中的field域也不一定一样。

• 索引域

索引域主要是为了搜索使用的。索引域内容是经过lucene分词之后存储的。

倒排索引表

传统方法是先找到文件，如何在文件中找内容，在文件内容中匹配搜索关键字，这种方法是顺序扫描方法，数据量大就搜索慢。

倒排索引结构是根据内容（词语）找文档，倒排索引结构也叫 反向索引结构， 包括索引和文档两部分，索引即词汇表，它是在索引中匹配搜索关键字，由于索引内容量有限并且采用固定优化算法搜索速度很快，找到了索引中的词汇，词汇与文档关联，从而最终找到了文档。

================================================================================================================================

Field的属性和常用类型

一、属性

是否存储：

是：将field域中的内容存储到文档域中。存储的目的，就是为了搜索页面显示取值用的。

比如：商品名称、商品价格、商品id、商品图片地址

否：不将field域中的内容存储到文档域中。不存储，则搜索页面中没法获取该field域的值。

比如：商品描述，由于商品描述在搜索页面中不需要显示，再加上商品描述的内容比较多，所以就不需要进行存储。

如果需要商品描述，则根据搜索出的商品ID去数据库中查询，然后显示出商品描述信息即可。

是否索引：

是：将分好的词进行索引，索引的目的，就是为了搜索。

比如：商品名称、商品描述、商品价格、商品id

否：不索引，也就是不对该field域进行搜索。

是否分词：

是：对该field存储的内容进行分词，分词的目的，就是为了索引。

比如：商品名称、商品描述、商品价格

否：不需要对field存储的内容进行分词，不分词，不代表不索引，而是将整个内容进行索引。

比如：商品id

二、常用类型