ES模糊查询wildcard的替代方案

背景

1.ES模糊查询wildcard查询极耗机器CPU资源，查询耗时高，当并发量高时影响ES其它进程。
2.用户实际的模糊查询需求大多是左右模糊匹配。

可行性分析

1、match_phrase能够实现词组查询。

比如brown fox会返回匹配…brown fox…的结果，此结果与wildcard查询传入brown fox的查询结果一致。相当于我们通过match_phrase实现wildcard查询效果，但此时只满足一些特许的模糊查询需求。
那如何对match_phrase的功能进行增强，让其能够满足所有条件？
从上面的查询示例可以看出，brown fox会返回匹配…brown fox…的结果，其根本原因在于索引时ES将…brown fox…分词成了brown，fox等单词。所以只要我们能够控制ES分词效果，将会最终满足我们的需求。而ES提供了丰富的分词功能。

2、nGram分词能够实现按指定长度对文本进行分词。

nGram可以指定min_gram，max_gram参数实现不同的分词效果。
例如：min_gram，max_gram配置为5时，quick.brown.fox分词后会产生quick，uick.，ick.b，ck.br，k.bro，.brow，brown，rown.，own.f，wn.fo，n.fox。
这时match_phrase会达到什么效果了？
a.用户输入quick，brown，k.bro等都能够返回quick.brown.fox。
b.用户输入brown.fox，brown.fox会被分词成brown，rown.，own.f等，此时同样会返回quick.brown.fox。
c.用户输入fox(长度小于nGram分词配置的分词长度时），不会返回任何结果。

3、如何正确返回查询条件长度小于5时的结果

利用nGram分词 + term查询可以实现所需查询效果。
nGram分词配置：min_gram配置为1，max_gram配置为4。例如quick将会被分词为q，u，i，… quic，uick。
term查询会对用户输入的条件进行精确匹配，比如输入uic，会返回quick。

方案

查询条件长度小于5时：使用nGram分词 + term查询
查询条件长度大于等于5时：使用nGram分词 + match_phrase查询
 

实施

1、创建索引

PUT index_text_1
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ngram_analyzer_short": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_short"
        },
        "ngram_analyzer_long": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_long"
        }
      },
      "tokenizer": {
        "ngram_tokenizer_short": {
          "type": "nGram",
          "min_gram": "1",
          "max_gram": "4"
        },
        "ngram_tokenizer_long": {
          "type": "nGram",
          "min_gram": "5",
          "max_gram": "5"
        }
      }
    }
  },
  "mappings": {
    "title": {
      "properties": {
        "char": {
          "type": "keyword",
          "fields": {
            "long_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_long"
            },
            "short_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_short"
            }
          }
        }
      }
    }
  }
}

2、新增数据

POST /index_text_1/_doc/_bulk
{"index":{"_id":1}}  
{"char":"nHRSPkkXLGm6UsmRbRBFQYRCRXpp6CXrnBiqSR"} 
{"index":{"_id":2}}
{"char":"quick.brown.fox"}
{"index":{"_id":3}}
{"char":"elasticsearch"}

3、查询语句

查询条件长度大于等于5时

GET index_text_1/_search
{
    "query": {
        "match_phrase": {
            "char.long_char": {
                "query": "UsmRbRBFQY"
            }
        }
    }
}

 查询条件长度小于5时

GET index_text_1/_search
{
    "query": {
        "term": {
            "char.short_char": {
                "value": "fox"
            }
        }
    }
}

来源：https://www.cnblogs.com/Vincent-yuan/p/16000922.html

Elasticsearch 的 NGram 分词器使用技巧-腾讯云开发者社区-腾讯云

ES使用Ngram分词器实现wildcard高性能替代方案_es wildcard-CSDN博客

思考

查询条件长度该设置成多少？
值太大，占用的存储资源就多（主要是short_char字段）；值太小，long_char字段分词被分的太细，match_phrase查询耗时就会增加。