Elasticsearch基本查询总结

最新推荐文章于 2023-06-21 15:15:28 发布

7*24 工作者

最新推荐文章于 2023-06-21 15:15:28 发布

阅读量531

点赞数

分类专栏： elk日志分析文章标签： elasticsearch

elk日志分析专栏收录该内容

15 篇文章 0 订阅

订阅专栏

Elasticsearch是一个分布式文档存储。Elasticsearch不会将信息存储为列数据的行，而是存储已序列化为JSON文档的复杂数据结构。当集群中有多个Elasticsearch节点时，存储的文档将分布在集群中，并且可以从任何节点立即访问。
存储文档时，将在1秒钟内几乎实时地对其进行索引和完全搜索。Elasticsearch使用称为倒排索引的数据结构，该结构支持非常快速的全文本搜索。反向索引列出了出现在任何文档中的每个唯一单词，并标识了每个单词出现的所有文档。
索引可以认为是文档的优化集合，每个文档都是字段的集合，这些字段是包含数据的键值对。默认情况下，Elasticsearch对每个字段中的所有数据建立索引，并且每个索引字段都具有专用的优化数据结构。例如，文本字段存储在倒排索引中，数字字段和地理字段存储在BKD树中。使用按字段数据结构组合并返回搜索结果的能力使Elasticsearch如此之快。
Elasticsearch还具有无模式的能力，这意味着无需显式指定如何处理文档中可能出现的每个不同字段即可对文档建立索引。启用动态映射后，Elasticsearch自动检测并向索引添加新字段。此默认行为使索引和浏览数据变得容易-只需开始建立索引文档，Elasticsearch就会检测布尔值，浮点数和整数值，日期和字符串并将其映射到适当的Elasticsearch数据类型。

一、ES与常用数据库比较

在这里插入图片描述

二、查询操作

在这里插入图片描述

Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。
有了数据后，我们就需要对数据进行检索操作。根据实际开发需要，往往我们需要支持包含但不限于以下类型的检索：
1）精确匹配，类似mysql中的 “=”操作；
2）模糊匹配，类似mysql中的”like %关键词% “查询操作；
3）前缀匹配；
4）通配符匹配；
5）正则表达式匹配；
6）跨索引匹配；
7）提升精读匹配。

细数一下，我们的痛点在于：
1）ES究竟支持哪些检索操作？
2）如何实现ES精确值检索、指定索引检索、全文检索？

这些就是本文着重参考ES最新官方文档，针对ES5.X版本探讨的内容。

三、检索概览

检索子句的行为取决于查询应用于过滤(filter)上下文还是查询/分析(query)上下文。
过滤上下文——对应于结构化检索

1)核心回答的问题是："这个文档是否符合这个查询条款？"
2)答案是简单的是或否，不计算分数。 
3)过滤器上下文主要用于过滤结构化数据。类似于Mysql中判定某个字段是否存在：

例如：
a. 时间戳字段：是否属于2015年或2016年？
b. 状态字段：是否设置为"已发布”？
经常使用的过滤器将被Elasticsearch 自动缓存，以加快性能。
分析上下文——对应于全文检索
1)核心回答了"本文档与此查询子句是否匹配？”的问题。
2)除了决定文档是否匹配之外，查询子句还会计算一个_score，表示文档与其他文档的匹配程度。
综合应用场景如下：

GET /_search
{
  "query": {
    "bool": {
      "must": [
        {  "match": { "title": "Search" } },
        { "match": { "content": "Elasticsearch" } }
      ],
      "filter": [
        { "term": {  "status": "published" } },
        { "range": { "publish_date": { "gte": "2015-01-01" } } }
      ]
    }
  }
}

以上检索，title中包含"Search"并且content中包含 “Elasticsearch”，status中精确匹配"published"，并且publish_date 大于"2015-01-01"的全部信息。
以下，以"脑图"的形式直观展示检索分类。
在这里插入图片描述

其中，3-7根据我随着我开发深入再做更新。
以下内容的原文需要参考ES官方文档（随着版本变化，后续会有更新）

四、结构化检索

针对字段类型：日期、时间、数字类型，以及精确的文本匹配。
结构化检索特点：
1)结构化查询，我们得到的结果总是非是即否，要么存于集合之中，要么存在集合之外。
2)结构化查询不关心文件的相关度或评分；它简单的对文档包括或排除处理。

4.1 精确值查找
① 单个精确值查找(term query)
term 查询会查找我们指定的精确值。term 查询是简单的，它接受一个字段名以及我们希望查找的数值。
想要类似mysql中如下sql语句的查询操作：

SELECT document FROM products WHERE price = 20;
DSL写法：

POST  /products/_doc/_search
{"query": {"term": {"phone": "12345678906"} } }
{"query": {"terms": {"phone": ["12345678906","18301909893",...]} } }

当进行精确值查找时，我们会使用过滤器(filters)。过滤器很重要，因为它们执行速度非常快，不会计算相关度(直接跳过了整个评分阶段)而且很容易被缓存。如下：使用 constant_score 查询以非评分模式来执行 term 查询并以一作为统一评分。

POST  /products/_doc/_search
{ "query": { "constant_score": { "filter": { "term": { "phone": "12345678906" } } } } }

注意：5.x ES中，对于字符串类型，要进行精确值匹配。需要讲类型设置为text和keyword两种类型。mapping设置如下:

POST /products/_doc/_mapping
{
  "products": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_max_word",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

② 布尔过滤器
一个 bool 过滤器由三部分组成：

{
   "bool" : {
      "must" :     [],
      "should" :   [],
      "must_not" : [],
      "filter":    []
   }
}

must ——所有的语句都必须（must）匹配，与 AND 等价。
must_not ——所有的语句都不能（must not）匹配，与 NOT 等价。
should ——至少有一个语句要匹配，与 OR 等价。
filter——必须匹配，运行在非评分&过滤模式。
当我们需要多个过滤器时，只须将它们置入 bool 过滤器的不同部分即可。

POST  /products/_doc/_search

{
  "query": {
    "filtered": {
      "filter": {
        "bool": {
          "should": [ {"term": {"price": 20 }}, {"term": {"productID": "XHDK-A-1293-#fJ3" } } ],
          "must_not": { "term": { "price": 30 } }
        }
      }
    }
  }
}

③ 多个值精确查找(terms query)

{
  "terms" : {
  "price" : [20, 30]
  }
}

如上，terms是包含的意思，包含20或者包含30。
如下实现严格意义的精确值检索， tag_count代表必须匹配的次数为1。

POST  /products/_doc/_search

{
  "query": {
    "constant_score": {
      "filter": {
        "bool": {
          "must": [
            { "term" : { "tags" : "search" } },
            { "term" : { "tag_count" : 1 } }
          ]
        }
      }
    }
  }
}

4.2 范围检索(range query)
range 查询可同时提供包含(inclusive)和不包含(exclusive)这两种范围表达式，可供组合的选项如下：

gt: > 大于(greater than)
lt: < 小于(less than)
gte: >= 大于或等于(greater than or equal to)
lte: <= 小于或等于(less than or equal to)

类似Mysql中的范围查询：

SELECT document
FROM products
WHERE price BETWEEN 20 AND 40

ES中对应的DSL如下：

POST  /products/_doc/_search

{
  "query": {
    "constant_score": {
      "filter": {
        "range": {
          "price": {
            "gte": 20,
            "lt": 40
          }
        }
      }
    }
  }
}

4.3 存在与否检索(exist query)
mysql中，有如下sql：

SELECT tags FROM products WHERE tags IS NOT NULL;

ES中，exist查询某个字段是否存在：

POST  /products/_doc/_search
{
    "query" : {
        "constant_score" : {
            "filter" : {
                "exists" : { "field" : "tags" }
            }
        }
    }
}

4.4 前缀检索( Prefix Query )
匹配包含 not analyzed 的前缀字符：

GET /_search
{
  "query": {
    "prefix": { "user": "ki" }
  }
}

4.5 通配符检索( wildcard query)
匹配具有匹配通配符表达式( (not analyzed )的字段的文档。支持的通配符：
1)*，它匹配任何字符序列(包括空字符序列)；
2)？，它匹配任何单个字符。
请注意，此查询可能很慢，因为它需要遍历多个术语。
为了防止非常慢的通配符查询，通配符不能以任何一个通配符*或？开头。
举例：

GET /_search
{
  "query": {
    "wildcard": {  "user": "ki*y" }
  }
}

4.6 正则表达式检索(regexp query)
正则表达式查询允许您使用正则表达式术语查询。
举例如下：

GET /_search
{
  "query": {
    "regexp": { "name.first": "s.*y" }
  }
}

注意： *的匹配会非常慢，你需要使用一个长的前缀，
通常类似.*?+通配符查询的正则检索性能会非常低。

4.7 模糊检索(fuzzy query)
模糊查询查找在模糊度中指定的最大编辑距离内的所有可能的匹配项，然后检查术语字典，以找出在索引中实际存在待检索的关键词。
举例如下：

GET /_search
{
  "query": {
    "fuzzy" : { "user" : "ki" }
  }
}

4.8 类型检索(type query)
举例：

GET /my_index/_search
{
  "query": {
    "type" : { "value" : "text" }
  }
}

已验证，检索索引my_index中，type为text的全部信息。

4.9 Ids检索(ids query)
返回指定id的全部信息。

GET /my_index/_search
{
  "query": {
    "ids" : {
      "type" : "text",
      "values" : ["2", "4", "100"]
    }
  }
}

4.10 mget多文档查询
多字段查询可以设置多个文档查询条件，每个查询条件在结构上都比较类似：

curl 'localhost:9200/_mget' -d '{
    "docs" : [
        {
            "_index" : "test",
            "_type" : "type",
            "_id" : "1"
        },
        {
            "_index" : "test",
            "_type" : "type",
            "_id" : "2"
        }
    ]
}'

当然，在查询条件中，body中_index字段也可以放在查询字符串中：

curl 'localhost:9200/test/_mget' -d '{
    "docs" : [
        {
            "_type" : "type",
            "_id" : "1"
        },
        {
            "_type" : "type",
            "_id" : "2"
        }
    ]
}'

对于type也是一样：

curl 'localhost:9200/test/type/_mget' -d '{
    "docs" : [
        {
            "_id" : "1"
        },
        {
            "_id" : "2"
        }
    ]
}'

如果索引和类型都放在查询URL中，那么字段ID就可以放在一个数组中:

curl 'localhost:9200/test/type/_mget' -d '{
    "ids" : ["1", "2"]
}'

五、全文检索

高级全文查询通常用于在全文本字段(如电子邮件正文)上运行全文查询。他们了解如何对被查询的字段进行分析，并在执行前将每个字段的分析器(或search_analyzer)应用于查询字符串。

5.1 匹配检索(match query)
匹配查询接受文本/数字/日期类型，分析它们，并构造查询。
1)匹配查询的类型为boolean。这意味着分析所提供的文本，并且分析过程从提供的文本构造一个布尔查询，
可以将运算符标志设置为或以控制布尔子句(默认为或)；
2)文本分析取决于mapping中设定的analyzer(中文分词，我们默认选择ik分词器)；
3) fuzziness——模糊性允许基于被查询的字段的类型进行模糊匹配；
4)“operator”: “and”——匹配与操作(默认或操作)；
5) “minimum_should_match”: “75%”——这让我们可以指定必须匹配的词项数用来表示一个文档是否相关。
举例：

GET /_search
{
  "query": {
    "match": {
      "message": {
        "query": "this is a test",
        "operator": "and"
      }
    }
  }
}

5.2 匹配解析检索 match_phrase query
match_phrase查询分析文本，并从分析文本中创建短语查询。
类似 match 查询， match_phrase 查询首先将查询字符串解析成一个词项列表，然后对这些词项进行搜索，但只保留那些包含全部搜索词项，且位置与搜索词项相同的文档。
举例如下：对于 quick fox 的短语搜索可能不会匹配到任何文档，因为没有文档包含的 quick 词之后紧跟着 fox 。

GET /my_index/my_type/_search
{
  "query": {
    "match_phrase": {
      "title": "quick brown fox"
    }
  }
}

5.3 匹配解析前缀检索(match_phrase_prefix)
用户已经渐渐习惯在输完查询内容之前，就能为他们展现搜索结果，这就是所谓的即时搜索(instant search) 或输入即搜索(search-as-you-type) 。
不仅用户能在更短的时间内得到搜索结果，我们也能引导用户搜索索引中真实存在的结果。
例如，如果用户输入 johnnie walker bl ，我们希望在它们完成输入搜索条件前就能得到：
Johnnie Walker Black Label 和 Johnnie Walker Blue Label 。
match_phrase_prefix与match_phrase相同，除了它允许文本中最后一个术语的前缀匹配。
举例：

GET / _search
{
  "query": {
    "match_phrase_prefix": {
      "message": "quick brown f"
    }
  }
}

5.4 多字段匹配检索( multi_match query)
multi_match 查询为能在多个字段上反复执行相同查询提供了一种便捷方式。
默认情况下，查询的类型是 best_fields，这表示它会为每个字段生成一个 match 查询。
举例1：“fields”: “_title"
——任何与模糊模式正则匹配的字段都会被包括在搜索条件中，例如可以左侧的方式同时匹配 book_title 、 chapter_title 和 section_title (书名、章名、节名)这三个字段。
举例2： “fields”: [ "_title”, “chapter_title^2” ]
——可以使用 ^ 字符语法为单个字段提升权重，在字段名称的末尾添加 ^boost ，其中 boost 是一个浮点数。
举例3：“fields”: [ “first_name”, “last_name” ],
“operator”: “and”
——两个字段必须都包含。

GET /_search
{
  "query": {
    "multi_match": {
      "query": "this is a test",
      "fields": [
        "subject",
        "message"
      ]
    }
  }
}

5.5 字符串检索(query_string)
一个使用查询解析器解析其内容的查询。
query_string查询提供了以简明的简写语法执行多匹配查询 multi_match queries ，布尔查询 bool queries ，提升得分 boosting ，模糊匹配 fuzzy matching ，通配符 wildcards ，正则表达式 regexp 和范围查询 range queries 的方式。
支持参数达10几种。

GET /_search
{
  "query": {
    "query_string": {
      "default_field": "content",
      "query": "this AND that OR thus"
    }
  }
}

5.6 简化字符串检索(simple_query_string)
一个使用SimpleQueryParser解析其上下文的查询。与常规query_string查询不同，simple_query_string查询永远不会抛出异常，并丢弃查询的无效部分。
举例：

GET /_search
{
  "query": {
    "simple_query_string": {
      "fields": [
        "content"
      ],
      "query": "foo bar -baz"
    }
  }
}

支持的操作如下：
1)+表示AND操作
2)| 表示OR操作
3)- 否定操作
4)*在术语结束时表示前缀查询
5)(和)表示优先

7*24 工作者

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Elasticsearch基本查询总结

Elasticsearch是一个分布式文档存储。Elasticsearch不会将信息存储为列数据的行，而是存储已序列化为JSON文档的复杂数据结构。当集群中有多个Elasticsearch节点时，存储的文档将分布在集群中，并且可以从任何节点立即访问。存储文档时，将在1秒钟内几乎实时地对其进行索引和完全搜索。Elasticsearch使用称为倒排索引的数据结构，该结构支持非常快速的全文本搜索。反向索引列出了出现在任何文档中的每个唯一单词，并标识了每个单词出现的所有文档。索引可以认为是文档的优化集合，每个文
复制链接

扫一扫