Sql2005 全文索引(一)

--> Title  : Sql2005 全文索引(一)

--> Author : wufeng4552

--> Date   : 2009-10-14

理論部份

前言

      在数据库中快速搜索数据，使用索引可以提高搜索速度，然而索引一般是建立在数字型或长度比较短的文本型字段上的，比如说编号、姓名等字段，如果建立在长度比较长的文本型字段上，更新索引将会花销很多的时间。如在文章内容字段里用like语句搜索一个关键字，当数据表里的内容很多时，这个时间可能会让人难以忍受。在SQL Server中提供了一种名为全文索引的技术，可以大大提高从长字符串里搜索数据的速度，在本節里，将会对全文索引进行详细的介绍

(1)全文索引概念:

     全文索引与普通的索引不同，普通的索引是以B-tree结构来维护的，而全文索引是一种特殊类型的基于标记的功能性索引，是由Microsoft SQL Server全文引擎服务创建和维护的。使用全文索引可以快速、灵活地为存储在SQL Server数据库中的文本数据创建基于关键字查询的索引，与like语句不同，like语句的搜索是适用于字符模式的查询，而全文索引是根据特定语言的规则对词和短语的搜索，是针对语言的搜索。

 

(2)全文索引常用术语

 

(2.1)全文索引：一种特殊的索引,能在给定的列中存储有关重要的词及位置的信息,使用这些信息可以快速进行全文查询,搜索包括特定词或词组的行.

(2.2)全文目录：全文目录是存储全文索引的地方,全文目录必须驻留在与SQL Server实例相关联的本地硬盘上,每个全文目录可用于满足数据库内的一个或多个表的索引需求.

(2.3)断字符与词干分析器：断字符与词干分析器都是用于对全文索引的数据进行语言分析的.语言分析通常都会涉及到查找词的边界和组合动词两个方面,其中要查找词的边界,也就是确定哪几个字符是"词"，称之为"断字".组合动词也就是词干分析,用于分析词.根据语言的不同,语言分析规则也不尽相同,由此可以为每个全文索引列指定不同的语言.每种语言的断字符能够使得访问语言生成的词更为准确

(2.4)标记：由断字符标识的词或字符串

(2.5)筛选器：用于从存储在varbinary(max)或image列中的文件内提取指定的文本类型的文本,当varbinary(max)或image列中包含带有特定文件扩展名的文档时,全文搜索会使用筛选器来解释二进制数据,筛选器会从文档中提取文本化信息并用于建立索引.

(2.6)填充（爬网）：创建维护全文索引的过程叫填充,也叫爬网.

(2.7)干扰词：经常出现,但又不是要搜索的词.为了精简全文索引,这些词通常会被忽略.

 

(3)全文索引的体系

SQL Server的全文索引是由SQL Server FullText Search服务来维护的,该服务可以在Windows操作系统的【管理工具】-【服务】里找到,如图3.1所示，在此可以启动、停止、暂停、恢复和重新启动该服务.只有SQL Server FullText Search服务在启动状态时,才能使用全文索引.

圖3.1

 SQL Server FullText Search服务由两个部分组件支持：一个是Microsoft Full-Text Engine for SQL Server（MSFTESQL),也就是SQL Server全文搜索引擎;另一个是Microsoft Full-Text Engine Filter Deamon（MSFTEFD）,也就是全文搜索引擎过滤器. 

Microsoft Full-Text Engine for SQL Server的作用是填充全文索引、管理全文索引和全文目录、帮助对SQL Server数据库中的数据表进行全文搜索。Microsoft Full-Text Engine Filter Deamon包含筛选器,协议处理程序和断字符三个组件，其作用是负责从数据表中访问和筛选数据以及进行断字和词干分析。其中，筛选器的作用是从文档中提取文本信息，并将非文本信息和格式化信息（如换行符、字体大小等信息）删除，然后生成文本字符串和属性的对应，并将它们传递给索引引擎；协议处理程序用于从指定数据库中的表内访问数据；断字符用于在查询或抓取的文档中确定字符边界位置。

全文索引组件负责对全文索引的初始填充以及当全文索引表中的数据被修改时的更新。当全文填充（爬网）开始后，数据库引擎会将大量的数据存储到内存里，并通知Microsoft Full-Text Engine for SQL Server（MSFTESQL）开始进行索引。当MSFTESQL服务接到进行索引的通知后，使用协议处理程序组件从内存中取得数据进行处理后生成全文索引。MSFTESQL服务会将数据表中的某一列或几列中的字符和二进制数据编制成索引。在对varbinary(max)或image列中的数据编制索引时，筛选器会将基于为该数据指定的文件格式来提取文本。在处理索引的过程中MSFTESQL服务通过断字符来将收集到的文本数据分隔成各个单独的标记或关键字。这个过程就是全文索引的过程。

由于全文索引与普通的索引不同，全文索引并不是存储在数据表中，而是存储在全文目录中，所以在使用全文索引来搜索数据时，其运行的流程和普通索引也不一样。

如图3.2所示，当SQL Server发出全文搜索的请求后，会将搜索的条件传递给全文搜索引擎过滤器，经过MSFTEFD处理后，将数据提供给MSFTESQL，再由MSFTESQL从全文目录中找到符合要求的数据，再返回给SQL Server进行后续操作。这就是进行全文搜索的过程