lucene简介

1.1   什么是Lucene

Lucene：4.10(从4.8版本以后，必须使用jdk1.7及以上)

Lucene是apache下的一个开源的全文检索引擎工具包

Lucene是一套用java或其它语言写的全文检索的工具包

Lucene和搜索引擎是不同的，它是java实现的，为应用程序提供了很多个api接口去调用，可以简单理解为是一套实现全文检索的类库。

搜索引擎是一个全文检索系统，它是一个单独运行的软件系统。，他默认支持英文与德文两种西方语言的分析

1.2   全文检索的应用场景：(  搜索引擎 、 站内搜索(关注))

什么是全文检索？

全文检索首先将要查询的目标文档中的词提取出来，组成索引，通过查询索引达到搜索目标文档的目的。

这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。

特点：

Lucene实现全文检索的流程(倒排文件索引结构。)

全文检索的流程分为两大部分：索引流程、搜索流程。

索引流程：即采集数据à构建文档对象à分析文档(分词)à创建索引。

搜索流程：即用户通过搜索界面à创建查询à执行搜索，搜索器从索引库搜索à渲染搜索结果。

Lucene下载安装

Lucene是开发全文检索功能的工具包，使用时从官方网站下载，并解压。

官方网站：http://lucene.apache.org/

目前最新版本：5.2.1

下载地址：http://archive.apache.org/dist/lucene/java/

下载版本：4.10.3

JDK要求：1.7以上(从版本4.8开始，不支持1.7以下)

索引流程

对文档索引的过程，就是将用户要搜索的文档内容进行索引，然后把索引存储在索引库(index)中。

为什么要采集数据

全文检索要搜索的数据信息格式多种多样，拿搜索引擎(百度， google)来说，通过搜索引擎网站能搜索互联网站上的网页(html)、互联网上的音乐(mp3..)、视频(avi..)、pdf电子书等。

全文检索搜索的这些数据称为非结构化数据。

什么是非结构化数据？

结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。

非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。

如何对结构化数据搜索？

由于结构化数据是固定格式，所以就可以针对固定格式的数据设计算法来搜索，比如数据库like查询，like查询采用顺序扫描法，使用关键字匹配内容，对于内容量大的like查询速度慢。

如何对非结构化数据搜索？

需要将所有要搜索的非结构化数据通过技术手段采集到一个固定的地方，将这些非结构化的数据想办法组成结构化的数据，再以一定的算法去搜索。

如何采集数据

采集数据技术有哪些？

1、对于互联网上网页采用http将网页抓取到本地生成html文件。

2、如果数据在数据库中就连接数据库读取表中的数据。

3、如果数据是文件系统中的某个文件，就通过文件系统读取文件的内容。

网页采集(了解)

因为目前搜索引擎主要搜索数据的来源是互联网，搜索引擎使用一种爬虫程序抓取网页(通过http抓取html网页信息)，以下是一些爬虫项目：

Solr(http://lucene.apache.org/solr)，solr是apache的一个子项目，支持从关系数据库、xml文档中提取原始数据。

Nutch(http://lucene.apache.org/nutch), Nutch是apache的一个子项目，包括大规模爬虫工具，能够抓取和分辨web网站数据。

jsoup(http://jsoup.org/ )，jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

heritrix(http://sourceforge.net/projects/archive-crawler/files/)，Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。

数据库采集

针对电商站内搜索功能，全文检索的数据源在数据库中，需要通过jdbc访问数据库中book表的内容。

**

**

原文链接 https://www.hanyuanhun.cn | https://node.hanyuanhun.cn