mac mysql ngram_MySQL ngram

MySQL ngram

简介:本教程向您展示如何使用MySQL ngram全文解析器来支持中文,日文,韩文等表意语言的全文搜索。

MySQL ngram全文解析器简介

内置的MySQL全文解析器使用空格确定单词的开头和结尾。当涉及到诸如中文,日文或韩文等的表意语言时,这是一个限制,因为这些语言不使用单词分隔符。

为了解决这个问题,MySQL提供了ngram全文解析器。从版本5.7.6开始,MySQL包含ngram全文解析器作为内置服务器插件,这意味着MySQL在MySQL数据库服务器启动时自动加载此插件。MySQL支持InnoDB和MyISAM存储引擎的ngram全文解析器。

根据定义,ngram是来自文本序列的许多字符的连续序列。ngram全文解析器的主要功能是将一系列文本标记为一个由n个字符组成的连续序列。

下面说明了ngram全文解析器如何为不同的n值标记一系列文本:

n = 1: 'm','y','s','q','l'

n = 2: 'my', 'ys', 'sq','ql'

n = 3: 'mys', 'ysq', 'sql'

n = 4: 'mysq', 'ysql'

n = 5: 'mysql'

使用ngram解析器创建FULLTEXT索引

要创建一个FULLTEXT索引,使用NGRAM全文解析器,你加WITH PARSER ngram的CREATE TABLE,ALTER TABLE或CREATE INDEX声明。

例如,以下语句创建新posts表,并将title和body列添加到FULLTEXT使用ngram全文解析器的索引。

DROP TABLE IF EXISTS posts;

CREATE TABLE posts (

id INT PRIMARY KEY AUTO_INCREMENT,

title VARCHAR(255),

body TEXT,

FULLTEXT ( title , body ) WITH PARSER NGRAM

) ENGINE=INNODB CHARACTER SET UTF8MB4;

以下INSERT语句在posts表中插入一个新行:

SET NAMES utf8mb4;

INSERT INTO posts(title,body)

VALUES('MySQL全文搜索','MySQL提供了具有许多好的功能的内置全文搜索'),

('MySQL教程','学习MySQL快速,简单和有趣');

请注意,SET NAMES语句设置客户端和服务器将用于发送和接收数据的字符集; 在这种情况下,它是utf8mb4。

要查看ngram如何标记文本,请使用以下语句:

SET GLOBAL innodb_ft_aux_table="mysqldemo/posts";

SELECT

*

FROM

information_schema.innodb_ft_index_cache

ORDER BY doc_id , position;

+--------+--------------+-------------+-----------+--------+----------+

| WORD | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT | DOC_ID | POSITION |

+--------+--------------+-------------+-----------+--------+----------+

| my | 2 | 3 | 2 | 2 | 0 |

| ys | 2 | 3 | 2 | 2 | 1 |

| sq | 2 | 3 | 2 | 2 | 2 |

| ql | 2 | 3 | 2 | 2 | 3 |

| l全 | 2 | 2 | 1 | 2 | 4 |

| 全文 | 2 | 2 | 1 | 2 | 5 |

| 文搜 | 2 | 2 | 1 | 2 | 8 |

| 搜索 | 2 | 2 | 1 | 2 | 11 |

| ql | 2 | 3 | 2 | 2 | 18 |

| ys | 2 | 3 | 2 | 2 | 18 |

| my | 2 | 3 | 2 | 2 | 18 |

| sq | 2 | 3 | 2 | 2 | 18 |

| l提 | 2 | 2 | 1 | 2 | 22 |

| 提供 | 2 | 2 | 1 | 2 | 23 |

| 供了 | 2 | 2 | 1 | 2 | 26 |

| 了具 | 2 | 2 | 1 | 2 | 29 |

| 具有 | 2 | 2 | 1 | 2 | 32 |

| 有许 | 2 | 2 | 1 | 2 | 35 |

| 许多 | 2 | 2 | 1 | 2 | 38 |

| 多好 | 2 | 2 | 1 | 2 | 41 |

| 好的 | 2 | 2 | 1 | 2 | 44 |

| 的功 | 2 | 2 | 1 | 2 | 47 |

| 功能 | 2 | 2 | 1 | 2 | 50 |

| 能的 | 2 | 2 | 1 | 2 | 53 |

| 的内 | 2 | 2 | 1 | 2 | 56 |

| 内置 | 2 | 2 | 1 | 2 | 59 |

| 文搜 | 2 | 2 | 1 | 2 | 60 |

| 全文 | 2 | 2 | 1 | 2 | 60 |

| 搜索 | 2 | 2 | 1 | 2 | 60 |

| 置全 | 2 | 2 | 1 | 2 | 62 |

| my | 2 | 3 | 2 | 3 | 0 |

| ys | 2 | 3 | 2 | 3 | 1 |

| sq | 2 | 3 | 2 | 3 | 2 |

| ql | 2 | 3 | 2 | 3 | 3 |

| l教 | 3 | 3 | 1 | 3 | 4 |

| 教程 | 3 | 3 | 1 | 3 | 5 |

| 学习 | 3 | 3 | 1 | 3 | 12 |

| 习m | 3 | 3 | 1 | 3 | 15 |

| my | 2 | 3 | 2 | 3 | 18 |

| sq | 2 | 3 | 2 | 3 | 18 |

| ql | 2 | 3 | 2 | 3 | 18 |

| ys | 2 | 3 | 2 | 3 | 18 |

| l快 | 3 | 3 | 1 | 3 | 22 |

| 快速 | 3 | 3 | 1 | 3 | 23 |

| 速, | 3 | 3 | 1 | 3 | 26 |

| ,简 | 3 | 3 | 1 | 3 | 29 |

| 简单 | 3 | 3 | 1 | 3 | 32 |

| 单和 | 3 | 3 | 1 | 3 | 35 |

| 和有 | 3 | 3 | 1 | 3 | 38 |

| 有趣 | 3 | 3 | 1 | 3 | 41 |

+--------+--------------+-------------+-----------+--------+----------+

50 rows in set (0.02 sec)

此查询对于故障排除非常有用。例如,如果单词未包含在搜索结果中,则单词可能未被索引,因为它是一个停用词,或者可能是另一个原因。

设置ngram令牌大小

如您所见,前面的示例中,ngram中的令牌大小(n)默认为2.要更改令牌大小,请使用ngram_token_size配置选项,其值介于1和10之间。

请注意,较小的令牌大小会使较小的全文搜索索引成为可能,因此您可以更快地进行搜索。

因为ngram_token_size是只读变量,所以您只能使用两个选项设置其值:

首先,在启动字符串中:

mysqld --ngram_token_size=1

二,在配置文件中:

[mysqld]

ngram_token_size=1

ngram解析器短语搜索

MySQL将短语搜索转换为ngram短语搜索。例如,"abc"转换为"ab bc",返回包含"ab bc"和的文档"abc"。

下面的示例显示了搜索短语搜索中的posts表:

SELECT

id, title, body

FROM

posts

WHERE

MATCH (title , body) AGAINST ('搜索' );

+----+-------------------+-------------------------------------------------------------+

| id | title | body |

+----+-------------------+-------------------------------------------------------------+

| 1 | MySQL全文搜索 | MySQL提供了具有许多好的功能的内置全文搜索 |

+----+-------------------+-------------------------------------------------------------+

1 row in set (7.74 sec)

用ngram处理搜索结果

自然语言模式

在NATURAL LANGUAGE MODE搜索中,搜索项将转换为ngram值的并集。假设令牌大小为2或bigram,搜索项mysql将转换为my ys sq和ql。

SELECT

*

FROM

posts

WHERE

MATCH (title , body) AGAINST ('简单和有趣' IN natural language MODE);

+----+-------------+-------------------------------------+

| id | title | body |

+----+-------------+-------------------------------------+

| 2 | MySQL教程 | 学习MySQL快速,简单和有趣 |

+----+-------------+-------------------------------------+

1 row in set (0.01 sec)

布尔模式

在BOOLEAN MODE搜索中,搜索项将转换为ngram短语搜索。例如:

SELECT

*

FROM

posts

WHERE

MATCH (title , body) AGAINST ('简单和有趣' IN BOOLEAN MODE);

+----+-------------+-------------------------------------+

| id | title | body |

+----+-------------+-------------------------------------+

| 2 | MySQL教程 | 学习MySQL快速,简单和有趣 |

+----+-------------+-------------------------------------+

1 row in set (0.16 sec)

ngram通配符搜索

ngram FULLTEXT索引只包含ngrams ,因此它不知道术语的开头。执行通配符搜索时,可能会返回意外结果。

以下规则适用于使用ngram FULLTEXT搜索索引的通配符搜索:

如果通配符中的前缀术语短于ngram令牌大小,则查询将返回包含以前缀术语开头的ngram令牌的所有文档。例如:

SELECT

id, title, body

FROM

posts

WHERE

MATCH (title , body) AGAINST ('my*' );

+----+-------------------+-------------------------------------------------------------+

| id | title | body |

+----+-------------------+-------------------------------------------------------------+

| 1 | MySQL全文搜索 | MySQL提供了具有许多好的功能的内置全文搜索 |

| 2 | MySQL教程 | 学习MySQL快速,简单和有趣 |

+----+-------------------+-------------------------------------------------------------+

2 rows in set (4.40 sec)

如果通配符中的前缀术语长于ngram令牌大小,MySQL将把前缀术语转换为ngram短语并忽略通配符运算符。请参阅以下示例:

SELECT

id, title, body

FROM

posts

WHERE

MATCH (title , body) AGAINST ('mysqld*' );

+----+-------------------+-------------------------------------------------------------+

| id | title | body |

+----+-------------------+-------------------------------------------------------------+

| 1 | MySQL全文搜索 | MySQL提供了具有许多好的功能的内置全文搜索 |

| 2 | MySQL教程 | 学习MySQL快速,简单和有趣 |

+----+-------------------+-------------------------------------------------------------+

2 rows in set (0.01 sec)

在这个例子中,术语“ mysqld"被转换成ngram短语:"my" "ys" "sq" "ql" "ld"。因此,将返回包含这些短语之一的所有文档。

添加或修改 ngram 的索引

要向FULLTEXT现有表添加索引,可以使用ALTER TABLE或 CREATE INDEX。

ALTER TABLE posts ADD FULLTEXT INDEX ft_index (title,body) WITH PARSER ngram;

或者

CREATE FULLTEXT INDEX ft_index ON posts (title,body) WITH PARSER ngram;

处理停用词

ngram解析器排除包含禁用词列表中的停用词的令牌。例如,假设ngram_token_size为2且文档包含"abc"。ngram解析器将文档标记为"ab"和"bc"。如果"b"是一个停用词,ngram将排除两者"ab","bc"因为它们包含"b"。

请注意,如果语言不是英语,则必须定义自己的禁用词列表。此外,长度大于的停用词将ngram_token_size被忽略。

在本教程中,您学习了如何使用MySQL ngram全文解析器来处理表意语言的全文搜索。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值