Elasticsearch N-gram分词器介绍 (7)

一.概述

　　Ngram是一种基于统计语言模型的算法。Ngram基本思想是将文本里面的内容按照字节大小进行滑动窗口操作，形成长度是N的字节片段序列。此时每一个字节片段称为gram。对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间。列表中的每一种gram就是一个特征向量维度。

　　应用场景：

　　　　1)要分词的文本是：没有空格，没有停用词，无分隔符，或属于行业术语的文本等。

　　　　　　　　例如：元器件行业型号：bu406, 搜索关键词 ”u40“ 希望能搜索到bu406的型号文档。

　　　　　　　　　　　无分隔符的手机号码13692345603，搜索关键词”9234“ 希望能搜索到13692345603的手机号文档，可提高检索效率(相较于wildcard检索和正则匹配检索来说)。

　　　　2)要求输入搜索的关键词高亮显示。

　　　　　　　　使用Ngram分词，结合match或者match_phrase检索实现。

　　　　3)大数据量下，要求支持左右匹配的模糊搜索，不建议使用wildcrad匹配。

　　　　　　　　使用Ngram分词以(存储)空间来换(检索)时间。

　　分词示例：

　　　　下面示例使用ngram的默认配置来分词， gram最小长度为1 ，gram最大长度为2

POST _analyze
{
  "tokenizer": "ngram",
  "text": "Quick Fox"
}

 　　　　分词结果:[ Q, Qu, u, ui, i, ic, c, ck, k, "k ", " ", " F", F, Fo, o, ox, x ]

二. Naram配置

　　分词器接收以下参数：

　　　　1)min_gram： 以gram为单位的最小字符长度，默认值为 1