Elasticsearch(一)Lucene小详解

是什么？

Lucene 是 apache 软件基金会的一个子项目，由 Doug Cutting 开发，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的库，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene 是一套用于全文检索和搜寻的开源程式库，由 Apache 软件基金会支持和提供。

什么是搜索引擎？

搜索引擎是“对网络信息资源进行搜集整理并提供信息查询服务的系统，包括信息搜集、信息整理和用户查询三部分”。如图1是搜索引擎的一般结构，信息搜集模块从网络采集信息到网络信息库之中（一般使用爬虫）；然后信息整理模块对采集的信息进行分词、去停用词、赋权重等操作后建立索引表（一般是倒排索引）构成索引库；最后用户查询模块就可以识别用户的检索需求并提供检索服务

 

为什么而生？

Lucene 的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

Lucene 提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在 Java 开发环境里 Lucene 是一个成熟的免费开源工具。就其本身而言，Lucene 是当前以及最近几年最受欢迎的免费 Java 信息检索程序库。人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆。

最开始 Lucene 只由 java 开发，供 java 程序调用，随着 python 越来越火，Lucene 官网也提供了 python 版本的 lucene 库，供 python 程序调用，即 PyLucene。

下载

访问 Lucene 官网 http://lucene.apache.org/，可以看到 绿色和红色两个下载按钮，分别提供 Lucene 和 Solr 的下载。

Lucene 是一个做全文检索的库，开发者可以按照自己的实际业务需求来使用，而 Solr 是一个基于 Lucene 的全文检索服务器。

Solr 是在 Lucene 的基础上进行扩展，并且提供了更加丰富的查询语句，可扩展性和可配置性比 Lucene 更高。除此之外 Solr 还提供了一个完善的管理页面，是一个产品级的全文搜索引擎。

添加依赖

将下载的 Lucene 包解压之后，找到如下的 jar 包，新建自己的工程，此处不使用 Maven，所以手动添加 jar 包到工程的 lib 目录下

IKAnalyzer2012_u6.jar，此 jar 包在 IK 分词器项目中，是单独的一个工具包，需要额外在网上下载：IKAnalyzer2012_u6。IK 分词器采用了特有的 "正向迭代最细粒度切分算法"，即从左到右的 正向最大（最长）和最小（最短）匹配，支持细粒度和智能分词两种切分模式，可将分词器扩展配置文件 IKAnalyzer.cfg.xml 放在项目的 class 根目录，并在其中配置扩展词典路径。当 IKAnalyzer6x() 构造方法参数为空或者 false 时，是最细粒度分词，为 true 时是智能分词。

lucene-analyzers-common-6.6.0.jar：lucene-6.6.0/common/

lucene-analyzers-smartcn-6.6.0.jar：lucene-6.6.0/smartcn/

lucene-core-6.6.0.jar：lucene-6.6.0/core/

lucene-highlighter-6.6.0.jar：lucene-6.6.0/highlighter/

lucene-memory-6.6.0.jar：lucene-6.6.0/memory/

lucene-queries-6.6.0.jar：lucene-6.6.0/queries/

lucene-queryparser-6.6.0.jar：lucene-6.6.0/queryparser/

 

 Lucene 架构

首先是信息采集的过程，文件系统、数据库、万维网以及手工输入的文件都可以作为信息采集的对象，也是要搜索的文档的来源，采集万维网上的信息一般使用网络爬虫。完成信息采集之后到 Lucene 层面主要有两个任务：索引文档和搜索文档。

• 索引文档的过程完成由原始文档到倒排索引的构建过程；
• 搜索文档用以处理用户查询。然后当用户输入查询关键词，Lucene 完成文档搜索任务，经过分词、匹配、评分、排序等一系列过程之后返回用户想要的文档。
• 倒排索引（Inverted index），也常被称为反向索引，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射，它是文档检索系统中最常用的数据结构，包括词项所在的文章号、词项频率、词项位置等。

pylucene的使用

Pylucene中关于建立索引的类主要有Directory、Analyzer、IndexWriter、Document、Filed。

Directory是Pylucene中关于文件操作的类。它有SimpleFSDirectory和RAMDirectory、CompoundFileDirectory、FileSwitchDirectory等11个子类，列举的四个是与索引目录的保存相关的子类，SimpleFSDirectory是将构建的索引保存至文件系统之中；RAMDirectory是将索引保存至RAM内存之中；CompoundFileDirectory是一种复合的索引保存方式；而FileSwitchDirectory允许临时切换索引的保存方式以发挥各种索引保存方式的优点。

• Analyzer，分析器。它是对爬虫获得的将要进行构建索引的文本进行处理的类。包括了文本进行分词操作、去掉停用词、转换大小写等操作。Pylucene自带了若干分析器，构建索引时也可使用第三方分析器或者自写分析器。分析器的好坏关系到构建索引的质量与搜索服务的所能提供的精准度与速度。
• IndexWriter，索引写入类。在Directory开辟的储存空间中IndexWriter可以进行索引的写入、修改、增添、删除等操作，但不可进行索引的读取也不能搜索索引。
• Document，文档类。在Pylucene中建立索引的基本单位是“文档”（Document），一个Document可能是一个网页、一篇文章、一封邮件。Document是用以构建索引的单位同时也是进行搜索时的结果单位，对它进行合理的设计能够提供个性化的搜索服务。
• Filed，域类。一个Document之中可以包含多个域（Field）。Filed是Document的组成部分,就如一篇文章的组成可能是文章标题、文章主体、作者、发表日期等多个Filed。

将一个页面作为一个Document，包含三个Field分别是页面的URL地址（url）、页面的标题（title）、页面的主要文字内容（content）。对于索引的储存方式选择使用SimpleFSDirectory类，将索引保存至文件之中。分析器选择Pylucene自带的CJKAnalyzer，该分析器对中文支持较好,适用于中文内容的文本处理。

使用Pylucene构建索引的具体操作步骤如下：

lucene.initVM()
INDEXIDR = self.__index_dir
indexdir = SimpleFSDirectory(File(INDEXIDR))①
analyzer = CJKAnalyzer(Version.LUCENE_30)②
index_writer = IndexWriter(indexdir, analyzer, True, IndexWriter.MaxFieldLength(512))③
document = Document()④
document.add(Field("content", str(page_info["content"]), Field.Store.NOT, Field.Index.ANALYZED))⑤
document.add(Field("url", visiting, Field.Store.YES, Field.Index.NOT_ANALYZED))⑥
document.add(Field("title", str(page_info["title"]), Field.Store.YES, Field.Index.ANALYZED))⑦
index_writer.addDocument(document)⑧
index_writer.optimize()⑨
index_writer.close()⑩

索引的构建有10个主要的步骤：

①实例化一个SimpleFSDirectory对象，将索引保存至本地文件之中，保存的路径为自定义的路径“INDEXIDR”。

②实例化一个CJKAnalyzer分析器，实例化时的参数Version.LUCENE_30为Pylucene的版本号。

③实例化一个IndexWriter对象，所携带的四个参数分是前面的实例化的SimpleFSDirectory对象和CJKAnalyzer分析器，布尔型的变量true表示创建一个新的索引，IndexWriter.MaxFieldLength指定了一个索引最大的域（Filed）数量。

④实例化一个Document对象，取名为document。

⑤为document添加名称为“content”的域。该域的内容为爬虫获取的某一网页页面的主要文字内容。该操作的参数是实例化并马上使用的Field对象；Field对象的四个参数分别是：

（1）“content”，域的名称。

（2）page_info["content"]，爬虫搜集到的网页页面的主要文字内容。

（3）Field.Store是用于表示该域的值是否可以恢复原始字符的变量，Field.Store.YES表示存储在该域中的内容可以恢复至原始文本内容，Field. Store.NOT表示不可恢复。

（4）Field.Index变量表示该域的内容是否应用分析器处理，Field. Index.ANALYZED表示对该域字符处理使用分析器，Field. Index. NOT_ANALYZED则表示不对该域使用分析器处理字符。

⑥添加名称为“url”的域用以保存该页面地址。

⑦添加名称为“title”的域用以保存该页面的标题。

⑧实例化IndexWriter对像将文档document写入索引文件。

⑨优化索引库文件，合并索引库中的小文件为大文件。

⑩单个周期内构建索引操作完成后关闭IndexWriter对像。

 

Pylucene关于建立索引的搜索的类主要有IndexSearcher、Query、QueryParser[16]。

IndexSearcher，索引搜索类。用于在IndexWriter构建的索引库中进行搜索操作。

Query，描述查询请求的类。它将查询请求递交给IndexSearcher完成搜索操作。Query拥有许多子类以完成不同的查询请求。例如TermQuery是按词条搜索，它是最基本最简单的查询类型，用来在指定域中匹配特定项的文档；RangeQuery，指定范围内搜索，用于在指定域中匹配特定范围内的文档；FuzzyQuery，一种模糊查询，能够简单地识别近义词匹配与查询关键字语义相近的项。

QueryParser，Query解析器。需要实现不同的查询需求时必须使用Query提供的不同子类，导致Query使用起来容易造成混乱。因而Pylucene还提供了Query语法解析器QueryParser。QueryParser能够解析提交的Query语句，根据Query语法挑选合适Query子类完成相应的查询,开发者不必关心底层使用的是什么Query实现类。例如Query语句“关键字1 and 关键字2” QueryParser解析为查询同时匹配关键字1和关键字2的文档；Query语句“id[123 to 456]” QueryParser解析成为查询名称为“id”的域中的值在指定范围“123”到“456”之间的文档；Query语句“关键字 site:www.web.com”QueryParser解析成为查询同时满足名称为“site”的域中值为“www.web.com” 和匹配“关键字”两个查询条件的文档。

 

索引的搜索是Pylucene所专注的领域之一，为实现索引的搜索编写了一个名为query的类，query实现索引的搜索有以下主要步骤：

lucene.initVM()
if query_str.find(":") ==-1 and query_str.find("：") ==-1:
query_str="title:"+query_str+" OR content:"+query_str①
indir= SimpleFSDirectory(File(self.__indexDir))②
lucene_analyzer= CJKAnalyzer(Version.LUCENE_CURRENT)③
lucene_searcher= IndexSearcher(indir)④
my_query = QueryParser(Version.LUCENE_CURRENT,"title",lucene_analyzer).parse(query_str)⑤
total_hits = lucene_searcher.search(my_query, MAX)⑥
for hit in total_hits.scoreDocs:⑦
            print"Hit Score: ", hit.score
            doc = lucene_searcher.doc(hit.doc)
            result_urls.append(doc.get("url").encode("utf-8"))
            result_titles.append(doc.get("title").encode("utf-8"))
            print doc.get("title").encode("utf-8")
  
 result = {"Hits": total_hits.totalHits, "url":tuple(result_urls), "title":tuple(result_titles)}
 return result

索引的搜索有7个主要的步骤：

①首先对搜索语句进行判断，若语句不是针对标题或文章内容进行单一域的查询，即不包含关键词“title:”或“content:”时默认搜索title和content两个域。

②实例化一个SimpleFSDirectory对象，指定它的工作路径为先前创建索引的路径。

③实例化一个CJKAnalyzer分析器，搜索时使用的分析器应与索引构建时使用的分析器在类型版本上均一致。

④实例化一个IndexSearcher对象lucene_searcher，它的参数为第○2步的SimpleFSDirectory对象。

⑤实例化一个QueryParser对象my_query，它描述查询请求，解析Query查询语句。参数Version.LUCENE_CURRENT为pylucene的版本号，“title”指默认的搜索域，lucene_analyzer指定了使用的分析器，query_str是Query查询语句。在实例化QueryParser前会对用户搜索请求作简单处理，若用户指定了搜索某个域就搜索该域，若用户未指定则同时搜索“title”和“content”两个域。

⑥lucene_searcher进行搜索操作，返回结果集total_hits。total_hits中包含结果总数totalHits，搜索结果的文档集scoreDocs，scoreDocs中包括搜索出的文档以及每篇文档与搜索语句相关度的得分。

⑦lucene_searcher搜索出的结果集不能直接被Python处理，因而在搜索操作返回结果之前应将结果由Pylucene转为普通的Python数据结构。使用For循环依次处理每个结果，将结果文档按相关度得分高低依次将它们的地址域“url”的值放入Python列表result_urls，将标题域“title”的值放入列表result_titles。最后将包含地址、标题的列表和结果总数组合成一个Python“字典”，将最后处理的结果作为整个搜索操作的返回值。

 

用户在浏览器搜索框输入搜索词并点击搜索，浏览器发起一个GET请求，Flask的路由route设置了由result函数响应该请求。result函数先实例化一个搜索类query的对象infoso，将搜索词传递给该对象，infoso完成搜索将结果返回给函数result。函数result将搜索出来的页面和结果总数等传递给模板result.html，模板result.html用于呈现结果