本文介绍了Elasticsearch中的全文查询，重点讲解了multi_match query作为match查询的多字段版本，以及query_string和simple_query_string查询的使用，包括它们的特殊字符和语法特性。同时提到了common terms query对停顿词的优化处理。
1.概述
转载：https://zhuanlan.zhihu.com/p/143957734 并且修改
起因是我查询的时候遇到一个这样的查询
GET /xxx-000001/_search
{
"query": {
"bool": {
"filter": {
"query_string": {
"query": """srcAddress:192*"""
}
}
}
}
}
这也能查询到？我记得以前查询都是一层一层的。去es查询了一下，真的查询到了，然后就来学习下怎么查询。
ps：文章最后有关于 Full text queries 所有查询的总结！
2.multi_match query -match 的多字段版本
# 1、同时查询 "content", "content.ik_smart_analyzer"，得到文档3
GET /tehero_index/_doc/_search
{
"query": {
"multi_match": {
"query": "系统",
"fields": [
"content",
"content.ik_smart_analyzer"
]
}
}
}
# 2、同时查询 所有字段 得到所有文档
GET /tehero_index/_doc/_search
{
"query": {
"multi_match": {
"query": "系统",
"fields": [
"content",
"content.ik_smart_analyzer",
"content.ik_max_analyzer"
]
}
}
}
需要注意的是，多个Fields之间的查询关系是 or ，就相当于mysql 的 【where 字段1=“检索词”or 字段2 = “检索词” or 字段3 = “检索词”】
字段^数字：表示增强该字段（权重影响相关性评分）：先知道有这么个属性即可，相关性评分是一个重点和难点，后面再系统讲解。
GET /tehero_index/_doc/_search
{
"query": {
"multi_match": {
"query": "系统",
"fields": [
"content",
"content.ik_smart_analyzer^3",
"content.ik_max_analyzer"
]
}
}
}
2.1 multi_match query 对应的sql语句
GET /tehero_index/_doc/_search
{
"query": {
"multi_match": {
"query": "系统学",
"fields": [
"content.ik_smart_analyzer",
"content.ik_max_analyzer"
]
}
}
}
DSL执行分析：
- 检索关键词“系统学”，根据搜索的field对应的分词器，进行不同的分词： "content.ik_smart_analyzer"字段（简称field1）分词，得到一个Token【系统学】；"content.ik_max_analyzer"字段（简称field2）分词，得到三个Token【系统学，系统，学】。
- 使用检索词的Token在对应的field的PostingList中进行检索，等价于sql语句：【select id from field1-PostingList where Token = “系统学”】【select id from field2-PostingList where Token in (“系统学”，“系统”，“学”)】；
- 最后再对检索出来的两个 PostingList 做一个合并操作，得到文档。
二、common terms query——对停顿词的检索优化（简单了解即可）
对于这个语法，先了解即可，主要还是用于英语，对于中文，实用性不大。（ps：以下内容翻译至官网） 该查询将检索词分割分为两组：更重要（即低频率而言）和不太重要的（即，高频率而言，如已停用词）。首先，它搜索与更重要的术语匹配的文档。这些术语出现在较少的文档中，并且对相关性具有更大的影响。然后，它对不那么重要的词执行第二次查询，这些词经常出现并且对相关性影响很小。但是，它是在第一个查询的结果集基础上，而不是计算所有匹配文档的相关性得分。这样，高频项可以改善相关性计算，而无需付出性能不佳的代价。如果查询仅由高频词组成，则将单个查询作为AND（合并）查询执行，换句话说，所有词都是必需的。
# 文档频率大于0.1％的单词（例如"this"和"is"）将被视为通用术语。
GET /_search
{
"query": {
"common": {
"body": {
"query": "nelly the elephant as a cartoon",
"cutoff_frequency": 0.001,
"low_freq_operator": "and"
}
}
}
}
等价于：
GET /_search
{
"query": {
"bool": {
"must": [
{ "term": { "body": "nelly"}},
{ "term": { "body": "elephant"}},
{ "term": { "body": "cartoon"}}
],
"should": [
{ "term": { "body": "the"}},
{ "term": { "body": "as"}},
{ "term": { "body": "a"}}
]
}
}
}
总结：common terms query 目的：在保证检索性能的前提下，提高搜索结果的准确度。（能检索到the a 等高频率的停顿词）
# 简单理解，对 the a as 等进行分词
GET /_analyze
{
"text": ["the a as"],
"analyzer": "ik_max_word"
}
结果:为空，因为这些停顿词都被过滤掉了，这个时候就使用 common terms query，检索到这些词
{
"tokens": []
}
三、query_string query
允许我们在单个查询字符串中指定AND | OR | NOT条件，同时也和 multi_match query 一样，支持多字段搜索。
# 1、检索同时包含Token【系统学、es】的文档，结果为空
GET /tehero_index/_doc/_search
{
"query": {
"query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统学 AND es"
}
}
}
# 2、检索包含Token【系统学、es】二者之一的文档，能检索到文档1、2、4
GET /tehero_index/_doc/_search
{
"query": {
"query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统学 OR es"
}
}
}
有了前面的基础，query_string query是非常容易理解的，语句1等价于sql语句【where Token = “系统学”and Token = “es” 】 注意点：1、中间的连接词【AND | OR | NOT】必须是全大写；2、各个检索词依然会被对应的分词器分词，单个检索词就相当于match query。
GET /tehero_index/_doc/_search
{
"query": {
"query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统编程 OR es"
}
}
}
就比如上例，单个检索词“系统编程”还是会被分词器“ik_smart”分词为两个Token【系统、编程】，同时对这个检索词“系统编程”执行 match query查询，所以上面的DSL会把所有的文档都检索出来。
四、simple_query_string query
类似于query_string ，但是会忽略错误的语法，永远不会引发异常，并且会丢弃查询的无效部分。
simple_query_string支持以下特殊字符：
+ 表示与运算，相当于query_string 的 AND
| 表示或运算，相当于query_string 的 OR
- 取反单个令牌,相当于query_string 的 NOT
"" 表示对检索词进行 match_phrase query
* 字词末尾表示前缀查询
结合DSL语句简单理解下：
4.1 + 表示与运算，相当于query_string 的 AND
# 1、检索到文档4
GET /tehero_index/_doc/_search
{
"query": {
"simple_query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统学 + 间隔"
}
}
}
4.2 | 表示或运算，相当于query_string 的 OR
# 2、检索到文档1、2、4
GET /tehero_index/_doc/_search
{
"query": {
"simple_query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统学 | 间隔"
}
}
}
4.3 - 取反单个令牌,相当于query_string 的 NOT
# 3、检索到文档1、2
GET /tehero_index/_doc/_search
{
"query": {
"simple_query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统学 -间隔",
"default_operator": "and"
}
}
}
注意：参数"default_operator": “and”。该参数的默认值为or。
上述DSL对应的sql语句为：【where Token = 系统学 and Token <> 间隔】
4.4 “” 表示对检索词进行 match_phrase query
# 4、检索到文档2
GET /tehero_index/_doc/_search
{
"query": {
"simple_query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "\"系统学编程关注\""
}
}
}
# 5、检索到所有文档
GET /tehero_index/_doc/_search
{
"query": {
"simple_query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统学编程关注"
}
}
}
分析：“query” : ““系统学编程关注””，会对检索词执行 match_phrase query ！
4.5 * 字词末尾表示前缀查询 -match_phrase_prefix query
# 6、检索到文档 3
GET /tehero_index/_doc/_search
{
"query": {
"simple_query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统"
}
}
}
# 6、检索到所有文档，等价于match_phrase_prefix query
GET /tehero_index/_doc/_search
{
"query": {
"simple_query_string" : {
"fields" : ["content.ik_smart_analyzer"],
"query" : "系统*"
}
}
}
五、总结
到此，我们已经学完了 Full text queries 所有的查询语句：
1）match query：用于执行全文查询的标准查询，包括模糊匹配和短语或接近查询。重要参数：控制Token之间的布尔关系：operator：or/and
2）match_phrase query：与match查询类似，但用于匹配确切的短语或单词接近匹配。重要参数：Token之间的位置距离：slop 参数
3）match_phrase_prefix query：与match_phrase查询类似，但是会对最后一个Token在倒排序索引列表中进行通配符搜索。重要参数：模糊匹配数控制：max_expansions 默认值50，最小值为1
4）multi_match query：match查询 的多字段版本。该查询在实际中使用较多，可以降低DSL语句的复杂性。同时该语句有多个查询类型，后面TeHero会专门进行讲解。
5）common terms query：对于中文检索意义不大。
6）query_string query 和 simple_query_string query，其实就是以上 query语句的合集，使用非常灵活，DSL编写简单。但是，TeHero认为这两个查询语句，有一个很明显的弊端：类似于sql注入。如果用户在检索词输入了对应的“关键字”【比如OR、*】等，用户将获取到本不应该被查询到的数据。慎用！
扫一扫
2483
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
