第十八章 全文本搜索

学习目标:

如何使用MySQL的全文本搜索功能进行高级的数据查询和选择。

 

理解全文本搜索：

1、并非所有引擎都支持全文本搜索：

MySQL 支持几种基本的数据库引擎。并非所有的引擎都支持本书所描述的全文本搜索。两个最常使用的引擎为MyISAM和InnoDB, 前者支持全文本搜索,而后者不支持。

 

2、通配符和正则表达式搜索机制的限制（缺陷）：

• 性能——通配符和正则表达式匹配通常要求MySQL尝试匹配表中所有行(而且这些搜索极少使用表索引)。因此,由于被搜索行 数不断增加,这些搜索可能非常耗时。
• 明确控制——使用通配符和正则表达式匹配,很难(而且并不总 是能)明确地控制匹配什么和不匹配什么。例如,指定一个词必须匹配,一个词必须不匹配,而一个词仅在第一个词确实匹配的 情况下才可以匹配或者才可以不匹配。
• 智能化的结果——虽然基于通配符和正则表达式的搜索提供了非常灵活的搜索,但它们都不能提供一种智能化的选择结果的方法。 例如,一个特殊词的搜索将会返回包含该词的所有行,而不区分 包含单个匹配的行和包含多个匹配的行(按照可能是更好的匹配来排列它们)。类似,一个特殊词的搜索将不会找出不包含该词但包含其他相关词的行。

 

在使用全文本搜索时,MySQL不需要分别查看每个行,不需要分别分析和处理每个词。MySQL创建指定列中各词的一个索引,搜索可以针对这些词进行。这样,MySQL可以快速有效地决定哪些词匹配(哪些行包含它们), 哪些词不匹配,它们匹配的频率,等等。

 

使用全文本搜索：

为了进行全文本搜索,必须索引被搜索的列,而且要随着数据的改变不断地重新索引。在对表列进行适当设计后,MySQL会自动进行所有的索引和重新索引。

 

在索引之后,SELECT可与Match()和Against()一起使用以实际执行搜索。

 

启用全文本搜索支持：

一般在创建表时启用全文本搜索。CREATE TABLE 接受FULL TEXT子句，它给出被索引列的一个逗号分隔的列表。

 

CREATE TABLE productnotes

(

note_id int NOT NULL AUTO_INCREMENT,

prod_id char(10) NOT NULL,

note_date datetime NOT NULL,

note_text text NULL,

PRIMARY KEY(note_id),

FULLTEXT(note_text)

)ENGINE = MyISAM;

 

在定义之后,MySQL自动维护该索引。在增加、更新或删除行时, 索引随之自动更新。

 

可以在创建表时指定FULLTEXT,或者在稍后指定(在这种情况下所 有已有数据必须立即索引)。

 

不要在导入数据时使用FULLTEXT：

更新索引要花时间,虽然 不是很多,但毕竟要花时间。如果正在导入数据到一个新表, 此时不应该启用FULLTEXT索引。应该首先导入所有数据,然后再修改表,定义FULLTEXT。这样有助于更快地导入数据(而且使索引数据的总时间小于在导入每行时分别进行索引所需 的总时间)。

 

进行全文本搜索：

在索引之后，使用两个函数Match()和Against()执行全文本搜索，其中Match()指定被搜索的列，Against()指定要使用的搜索表达式。

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('rabbit');

 

使用完整的Match()说明：

传递给Match()的值必须与FULLTEXT()定义中的相同。如果指定多个列，则必须列出它们（而且次序正确）。

 

搜索不区分大小写：

除非使用BINARY方式，否则全文本搜索不区分大小写。

 

全文本搜索的一个重要部分就是对结果排序。具有较高级别的行先返回（因为这些行很可能是你真正想要的行）。

例子：?全文本搜索排序问题

SELECT note_text, Match(note_text) Against('rabbit') AS rank

FROM productnotes;

 

Match()和Against() 用来建立一个计算列(别名为rank),此列包含全文本搜索计算出的等级值。 等级由MySQL根据行中词的数目、唯一词的数目、整个索引中词的 总数以及包含该词的行的数目计算出来。正如所见,不包含词rabbit的 行等级为0(因此不被前一例子中的WHERE子句选择)。确实包含词rabbit 的两个行每行都有一个等级值,文本中词靠前的行的等级值比词靠后的行的等级值高。

全文本搜索提供了简单LIKE搜索不能提供的功能。而且，由于数据是索引的，全文本检索还相当快。

 

排序多个搜索项：

如果指定多个搜索项，则包含多数匹配词的那些行将具有比包含较少词（或仅有一个匹配）的那些行高的等级值。

 

使用查询扩展：  关键词  WITH QUERY EXPANSION)

查询扩展用来设法放宽所返回的全文本搜索结果的范围。

Q：想要找出多有提到anvils的注释。只有一个注释包含anvils，但你还想找出可能与你的搜索相关的所有其他行，即使它们不包含词anvils。

 

在使用查询扩展时，MySQL对数据和索引进行两遍扫描来完成搜索：

• 首先，进行一个基本的全文本搜索，找出与搜索条件匹配的所有行；
• 其次，MySQL检查这些匹配行并选择所有有用的词。
• 再其次，MySQL再次进行文本搜索，这次不仅使用原来的条件，而且还使用所有有用的词。

#全文本查询扩展功能

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('anvils' WITH QUERY EXPANSION);

 

行越多越好：

表中的行越多（这些行中的文本就越多），使用查询扩展返回的结果就越好。

 

布尔文本搜索：关键词 IN BOOLEAN MODE

MySQL支持全文本搜索的另外一种形式,称为布尔方式(boolean  mode)。以布尔方式,可以提供关于如下内容的细节:

• 要匹配的词；
• 要排斥的词（如果某行包含这个词，则不返回该行，即使它包含其他指定的词也是如此）；
• 排列提示（指定某些词比其他词更重要，更重要的词等级更高）；
• 表达式分组；
• 另外一些内容。

 

即使没有FULLTEXT索引也可以使用：

布尔方式不同于迄今为 止使用的全文本搜索语法的地方在于,即使没有定义FULLTEXT索引,也可以使用它。但这是一种非常缓慢的操作 (其性能将随着数据量的增加而降低)。

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('heavy' IN BOOLEAN MODE);

 

全文本布尔操作符

布尔操作符	说明
+	包含，词必须存在
-	排除，词必须不出现
>	包含，而且增加等级值
<	包含，且减少等级值
()	把词组成子表达式（允许这些字表达是作为一个组被包含、排除、排列等）
~	取消一个词的排序值
*	词尾的通配符
""	定义一个短语（与单个词的列表不一样，它匹配整个短语以便包含或排除这个短语）

 

##为了匹配heavy但不包含任意以rope开始的词的行

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('heavy -rope*' IN BOOLEAN MODE);

 

##布尔操作符+，搜索匹配含词rabbit和bait的行。

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('+rabbit +bait' IN BOOLEAN MODE);

 

##没有指定操作符，搜索匹配包含rabbit和bait中的至少一个词的行。

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('rabbit bait' IN BOOLEAN MODE);

 

##搜索匹配短语rabbit bait而不是匹配两个词rabbit和bait

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('"rabbit bait"' IN BOOLEAN MODE);

 

##搜索匹配rabbit和carrot，增加前者的等级，降低后者的等级。

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('>rabbit <bait' IN BOOLEAN MODE);

 

##搜索匹配词safe和combination，降低后者的等级。

SELECT note_text

FROM productnotes

WHERE Match(note_text) Against('+safe +(<combination)' IN BOOLEAN MODE);

 

排列而不排序：

在布尔方式中，不按等级值降序排列返回的行。

 

 

全文本搜索的使用说明：

• 在索引全文本数据时,短词被忽略且从索引中排除。短词定义为那些具有3个或3个以下字符的词(如果需要,这个数目可以更改)。
• MySQL带有一个内建的非用词(stopword)列表,这些词在索引全文本数据总是被忽略。如果需要,可以覆盖这个列表(请参阅MySQL文档以了解如何完成此工作)。
• 许多词出现的频率很高,搜索它们没有用处(返回太多的结果)。 因此,MySQL规定了一条50%规则,如果一个词出现在50%以上的行中,则将它作为一个非用词忽略。50%规则不用于IN BOOLEAN MODE。
• 如果表中的行数少于3行,则全文本搜索不返回结果(因为每个词或者不出现,或者至少出现在50%的行中)。
• 忽略词中的单引号。例如,don't索引为dont。
• 不具有词分隔符(包括日语和汉语)的语言不能恰当地返回全文本搜索结果。
• 如前所述,仅在MyISAM数据库引擎中支持全文本搜索。

 

 

 

 

转载于:https://www.cnblogs.com/mumulin99/p/9838461.html