mysql 5.6 全文索引_MySql5.6全文索引 及 5.7 中文索引插件ngram

MySql 5.6.4 之后开始支持 innodb 全文索引,之前版本只能使用MyISAM

直接开始:

创建一个表和索引

USE test;

CREATE TABLE articles (

id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,

title VARCHAR(200),

body TEXT,

FULLTEXT KEY `idx_ft_tb` (title,body)

) ENGINE=InnoDB CHARACTER SET utf8mb4;

表已经存在

ALTER TABLE articles ADD FULLTEXT INDEX ft_index (title,body) ;

CREATE FULLTEXT INDEX idx_ft_tbON articles (title,body)

-- 删除索引

DROP INDEX idx_ft_tb ON test.articles ;

ALTER TABLE test.articles DROP INDEX idx_ft_tb ;

插入数据

SET NAMES utf8mb4;

INSERT INTO articles (title,body) VALUES

('数据库管理','在本教程中我将向你展示如何管理数据库'),

('数据库应用开发','学习开发数据库应用程序'),

('项目 管理','在本教程中我将向你展示如何管理数据库'),

('计算机 应用开发 管理开发','学习开发数据库应用程序'),

('财务管理','在本教程中我将向你展示如何管理数据库'),

('python开发','学习开发数据库应用程序'),

('项目中 管理开发','在本教程中我将向你展示如何管理数据库'),

('财务管理','在 本 教程 中 我 将 向你 展示 如何 管理 数据库'),

('database manage','in this job i will tell you how to manage'),

('项目中 管理开发2','在本教程中我将向你展示如何管理数据库2'),

('项目管 管控','not u'),

('项目管控','not me'),

('项目 目管控','not us'),

查看生成的索引

SET GLOBAL innodb_ft_aux_table="test/articles";

SELECT * FROM INFORMATION_SCHEMA.INNODB_FT_INDEX_CACHE ORDER BY doc_id, position;

注:如果修改了索引,可能会没有结果需要执行

OPTIMIZE TABLE articles

发现结果如图

数据库管理 2 2 1 2 0

在本教程中我将向你展示如何管理数据库 2 8 4 2 16

数据库应用开发 3 3 1 3 0

学习开发数据库应用程序 3 7 3 3 22

在本教程中我将向你展示如何管理数据库 2 8 4 4 14

计算机 5 5 1 5 0

应用开发 5 5 1 5 10

学习开发数据库应用程序 3 7 3 5 23

财务管理 6 9 2 6 0

在本教程中我将向你展示如何管理数据库 2 8 4 6 13

python开发 7 7 1 7 0

学习开发数据库应用程序 3 7 3 7 13

项目2 8 8 1 8 0

在本教程中我将向你展示如何管理数据库 2 8 4 8 15

财务管理 6 9 2 9 0

数据库 9 9 1 9 68

database 11 11 1 11 0

manage 11 11 1 11 9

job 11 11 1 11 24

tell 11 11 1 11 35

you 11 11 1 11 40

manage 11 11 1 11 42

三种查询方式

默认会使用自然语言方式

MATCH (col1,col2,...) AGAINST (expr [search_modifier])

search_modifier:

{

IN NATURAL LANGUAGE MODE

| IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION

| IN BOOLEAN MODE

| WITH QUERY EXPANSION

}

①NATURAL LANGUAGE MODE

查询带有指定word的文档。因“NATURAL LANGUAGE MODE”为默认全文检索模式,所以查询语句中可以省略该关键字

MATCH()返回一个相关系数(relevance value),查询结果会按relevance value值降序排列,即相关性最高的结果置于首位。relevance value根据以下条件计算

word是否在记录中出现

word在记录中出现的次数

word在索引字段中的数量

多少行记录包含该word

②BOOLEAN MODE

AGAINST()中关键字的前后字符会有特殊含义。BOOLEAN MODE全文检索支持以下操作符

+word必须存在

-word必须不存在

(no operator)该word可选,如果出现relevance value更高

distance 仅用于InnoDB表。查询多个单词之间的距离是否在distance(字节)内

> < 分别表示出现该word时增加和降低relevance value

~ 出现该word时relevance value变负值,用于制造噪音词(“noise” word)

* 表示以该字符串开头的word,写在word前不生效,word*才有效

'' '' 中的内容视作一个短语(整体)

③(NATURAL LANGUAGE MODE)WITH QUERY EXPANSION

全文检索扩展查询。当查询的关键词太短,需要隐含信息(implied knowledge)时比较有用。例如,当查询“database”时可能意味着“MySQL”、“Oracle”、“DB2”以及“RDBMS”等词语都应该匹配和返回。在查询语句中添加WITH QUERY EXPANSION或者IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION启用“blind query expansion”(也称“automatic relevance feedback”)。扩展查询分两步执行

根据原始的查询关键字表达式进行全文检索

根据第一步查询的返回结果分词后再进行一次全文检索

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('项目中' IN NATURAL LANGUAGE MODE);

+----+-----------------+--------------------------------------+

| id | title | body |

+----+-----------------+--------------------------------------+

| 7 | 项目中 管理开发 | 在本教程中我将向你展示如何管理数据库 |

+----+-----------------+--------------------------------------+

1 row in set

返回的 “项目中 管理开发” 在使用扩展查询 会将自然查询分词后作为下一次的查询条件

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('项目中' WITH QUERY EXPANSION);

+----+--------------------------+--------------------------------------+

| id | title | body |

+----+--------------------------+--------------------------------------+

| 7 | 项目中 管理开发 | 在本教程中我将向你展示如何管理数据库 |

| 4 | 计算机 应用开发 管理开发 | 学习开发数据库应用程序 |

| 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库 |

| 3 | 项目 管理 | 在本教程中我将向你展示如何管理数据库 |

| 5 | 财务管理 | 在本教程中我将向你展示如何管理数据库 |

+----+--------------------------+--------------------------------------+

5 rows in set

blind query expansion通常会返回不相关的记录而极大地增加查询结果的“噪音”(noise),因此仅当查询语句表达式简短的情况下使用

试试索引好不好用

SELECT * from articles where MATCH(title,body) AGAINST ('项目');

无结果

SELECT * from articles where MATCH(title,body) AGAINST ('项目2');

有结果

从结果看出两个问题

Q1.索引文档并没有根据汉语分词,而是根据空格分隔,比如“项目2 管理” 被分成 项目2 和 管理 ,而“数据库管理”没有被分词。

Q2.分词中虽然以空格分开也没有出现,但空格分开后3个以下的词 如“项目” 和 “管理”并没有生成索引词。

A1:

5.6版本只支持英文分词,英文都是以空格分开的(database manage),中文词都是没有空格的,所以出现了一整句中文作为一个词。

内嵌的文本解释器决定单词的开头和结尾,根据delimiter符号进行判断,比如逗号、空格、点号。如果不是根据delimiter分割的,比如中文,解释器就无法判断出单词的开头和结尾了

在5.7.6中可以使用插件ngram解释器来实现对中文、日文、韩文的支持,或者使用MeCab解释器来支持日文

也可以自己编写插件解释器。示例代码位于plugin/fulltext目录。

A2:

3个以下的词没有生成索引词是因为,默认最小是innodb_ft_min_token_size=3

也就是说,根据分隔符分开之后还得满足长度3以上才可以

innodb_ft_max_token_size=84 即 当词的长度超过84时,只取84长度

对于MyISAM引擎为:ft_min_word_len 和 ft_max_word_len

这个参数可以使用命令 show variables like '%ft%'; 查看

ft_boolean_syntax + ->

ft_max_word_len 84

ft_min_word_len 4

ft_query_expansion_limit 20

ft_stopword_file (built-in)

innodb_ft_aux_table test/articles

innodb_ft_cache_size 8000000

innodb_ft_enable_diag_print OFF

innodb_ft_enable_stopword ON

innodb_ft_max_token_size 84

innodb_ft_min_token_size 3

innodb_ft_num_word_optimize 2000

innodb_ft_result_cache_limit 2000000000

innodb_ft_server_stopword_table

innodb_ft_sort_pll_degree 2

innodb_ft_total_cache_size 640000000

innodb_ft_user_stopword_table

可以修改配置文件 C:\ProgramData\MySQL\MySQL Server 5.7\my.ini

innodb_ft_min_token_size=2 “项目管理”就可以生成 2个索引了

以上参数都会影响索引

5.7.6 支持了中文索引,只需使用插件ngram

先删除之前的索引

DROP INDEX idx_ft_tb ON test.articles ;

ALTER TABLE articles ADD FULLTEXT INDEX idx_ft_tb (title,body)

WITH PARSER ngram;

使用命令查看生成的索引词

show variables like '%token_size%';

innodb_ft_max_token_size 84

innodb_ft_min_token_size 3

ngram_token_size 2

发现ngram_token_size 为 2 即汉语的词截取长度为2

数据 2 9 8 2 0

据库 2 9 8 2 3

库管 2 2 1 2 6

...

...

n开 7 7 1 7 5

开发 3 7 3 7 6

ou 10 10 1 10 41

ge 10 10 1 10 42

ho 7 10 2 10 44

ow 10 10 1 10 45

修改ngram_token_size的值是以下效果

ngram_token_size=1 : '信', '息', '系', '统'

ngram_token_size=2 : '信息', '息系', '系统';

ngram_token_size=3 : '信息系', '息系统';

ngram_token_size=4 : '信息系统';

查询方式不变

①ngram Parser Term Search

在NATURAL LANGUAGE MODE检索模式下,查询关键字表达式被转换为若干个ngram词语的联合。例如,字符串“管理开发”(假设ngram_token_size=2)会被转换为“管理 理开 开发”。给出多行记录,这多条记录都匹配检索词语“管理 理开 开发”,只要包含其中之一即可,匹配其一即可返回

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('管理开发'

);

+----+--------------------------+------------------------------------------------+

| id | title | body |

+----+--------------------------+------------------------------------------------+

| 4 | 计算机 应用开发 管理开发 | 学习开发数据库应用程序 |

| 7 | 项目中 管理开发 | 在本教程中我将向你展示如何管理数据库 |

| 10 | 项目中 管理开发2 | 在本教程中我将向你展示如何管理数据库2 |

| 2 | 数据库应用开发 | 学习开发数据库应用程序 |

| 6 | python开发 | 学习开发数据库应用程序 |

| 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库 |

| 3 | 项目 管理 | 在本教程中我将向你展示如何管理数据库 |

| 5 | 财务管理 | 在本教程中我将向你展示如何管理数据库 |

| 8 | 财务管理 | 在 本 教程 中 我 将 向你 展示 如何 管理 数据库 |

+----+--------------------------+------------------------------------------------+

9 rows in set

在BOOLEAN MODE检索模式下,查询关键字表达式被转换为一个ngram短语检索。例如,字符串“项目中管理”(假设ngram_token_size=2)会被转换为“项目 目中 中管 管理”。给出多行记录,这多条记录都匹配检索词语“项目 目中 中管 管理”。但是只有包含 “项目中管理” 的记录行匹配检索短语 '"项目 目中 中管 管理"',完全匹配才可返回。

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('管理开发' IN BOOLEAN MODE);

+----+--------------------------+---------------------------------------+

| id | title | body |

+----+--------------------------+---------------------------------------+

| 4 | 计算机 应用开发 管理开发 | 学习开发数据库应用程序 |

| 7 | 项目中 管理开发 | 在本教程中我将向你展示如何管理数据库 |

| 10 | 项目中 管理开发2 | 在本教程中我将向你展示如何管理数据库2 |

+----+--------------------------+---------------------------------------+

3 rows in set

②ngram Parser Wildcard Search

由于ngram FULLTEXT index仅包含ngram分词,而不包含词语的词首信息,所以通配符检索可能返回预想之外的结果。

如果通配符检索的前缀词语小于“ngram_token_size”,查询会返回包含以该前缀词语开头的ngram分词的所有索引行。例如,假设ngram_token_size=2,对于“管*”的检索会返回所有以“管”开头的记录。

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('管*

' in boolean mode);

+----+--------------------------+------------------------------------------------+

| id | title | body |

+----+--------------------------+------------------------------------------------+

| 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库 |

| 3 | 项目 管理 | 在本教程中我将向你展示如何管理数据库 |

| 5 | 财务管理 | 在本教程中我将向你展示如何管理数据库 |

| 8 | 财务管理 | 在 本 教程 中 我 将 向你 展示 如何 管理 数据库 |

| 7 | 项目中 管理开发 | 在本教程中我将向你展示如何管理数据库 |

| 10 | 项目中 管理开发2 | 在本教程中我将向你展示如何管理数据库2 |

| 4 | 计算机 应用开发 管理开发 | 学习开发数据库应用程序 |

+----+--------------------------+------------------------------------------------+

7 rows in set

如果通配符检索的前缀词语大于“ngram_token_size”,该前缀词语会被转换为一个ngram短语,与此同时,通配符符号会被忽略。例如,假设ngram_token_size=2,“管理开发 *”通配符检索会被转换为“管理 开发”(“ngram Parser Term Search”的BOOLEAN MODE)。

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('管理开发

*' in boolean mode);

+----+--------------------------+---------------------------------------+

| id | title | body |

+----+--------------------------+---------------------------------------+

| 4 | 计算机 应用开发 管理开发 | 学习开发数据库应用程序 |

| 7 | 项目中 管理开发 | 在本教程中我将向你展示如何管理数据库 |

| 10 | 项目中 管理开发2 | 在本教程中我将向你展示如何管理数据库2 |

+----+--------------------------+---------------------------------------+

3 rows in set

③ngram Parser Phrase Search

短语检索会被转换为ngram短语检索。例如,检索短语“abc”会被转换为“ab bc”,包含“abc”和“ab bc”的记录都会被返回。检索短语“abc def”会被转换为“ab bc de ef”,包含“abcdef”的记录不会被返回。

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('"项目管控"' in boolean mode);

+----+-------------+--------+

| id | title | body |

+----+-------------+--------+

| 11 | 项目管 管控 | not u |

| 12 | 项目管控 | not me |

| 13 | 项目 目管控 | not us |

+----+-------------+--------+

3 rows in set

query expansion扩展查询同样适用于ngram parser

mysql> SELECT * from test.articles where MATCH(title,body) AGAINST ('项目管控

' WITH QUERY EXPANSION);

+----+--------------------------+------------------------------------------------+

| id | title | body |

+----+--------------------------+------------------------------------------------+

| 10 | 项目中 管理开发2 | 在本教程中我将向你展示如何管理数据库2 |

| 7 | 项目中 管理开发 | 在本教程中我将向你展示如何管理数据库 |

| 1 | 数据库管理 | 在本教程中我将向你展示如何管理数据库 |

| 3 | 项目 管理 | 在本教程中我将向你展示如何管理数据库 |

| 5 | 财务管理 | 在本教程中我将向你展示如何管理数据库 |

| 12 | 项目管控 | not me |

| 13 | 项目 目管控 | not us |

| 11 | 项目管 管控 | not u |

| 4 | 计算机 应用开发 管理开发 | 学习开发数据库应用程序 |

| 8 | 财务管理 | 在 本 教程 中 我 将 向你 展示 如何 管理 数据库 |

| 2 | 数据库应用开发 | 学习开发数据库应用程序 |

| 6 | python开发 | 学习开发数据库应用程序 |

+----+--------------------------+------------------------------------------------+

12 rows in set

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL中文分词全文索引是指在MySQL数据库中使用中文分词器对中文文本进行分词,并建立相应的全文索引,以支持对中文文本的全文搜索功能。在MySQL 5.7之前,全文索引只支持英文全文索引,不支持中文全文索引,需要借助分词器将中文文本进行预处理并拆分成单词后再存入数据库。而从MySQL 5.7.6开始,MySQL内置了ngram全文解析器,可以用来支持中文、日文、韩文等语言的分词,并通过全文索引实现对中文文本的语义分词检索功能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [MySQL使用全文索引(fulltext index) 及中文全文索引使用](https://blog.csdn.net/weixin_38289885/article/details/124634441)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [mysql ---- 全文索引中文语义分词检索](https://blog.csdn.net/weixin_44235759/article/details/124847638)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值