ES入门（二）Elasticsearch之Query DSL：ES增删查改、聚合分析

最新推荐文章于 2024-06-20 13:52:27 发布
最新推荐文章于 2024-06-20 13:52:27 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： es 文章标签： es elasticsearch java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011485472/article/details/108920301
版权

ES入门（二）Elasticsearch之Query DSL：ES增删查改、聚合分析

面向文档的搜索分析引擎 vs 面向对象的应用系统

 elasticsearch是面向文档的搜索分析引擎。

  • 应用系统的数据结构都是面向对象的，复杂的
  • 对象数据存储到数据库库，只能拆解开来，变为扁平的多张表，每次查询的时候还得还原对象格式，相当麻烦
  • ES是面向文档的，文档中存储的数据结构，与面向对象的数据结构是一样的，基于这种文档数据结构，es可以提供复杂的索引、全文检索、分析聚合等功能
  • es的document用json数据格式来表达

简单的Query DSL

（1）快速检查集群的健康状态

GET /_cat/health?v

（2）快速查看集群中有哪些索引

GET /_cat/indices?v

（3）创建索引与删除索引

PUT /my_index001?pretty     创建索引
DELETE /my_index001?pretty  删除索引

（4）商品的crud

  方法一：插入数据，自动生成document的 _id

POST /my_index001/_doc
{
  "name":"奶粉",
  "dec":"婴幼儿奶粉",
  "price":270,
  "producer":"奶粉producer",
  "tags":["婴幼儿","二段"]
}

  方法二：插入数据，手动指定document的 _id

PUT /my_index001/_doc/1
{
  "name":"奶粉",
  "dec":"中老年奶粉",
  "price":250,
  "producer":"中老年奶粉producer",
  "tags":["中老年","补钙"]
}

  查询所有document

查询索引my_index001下的所有数据
GET my_index001/_search
{
  "query": {
    "match_all": {}
  }
}

返回结果
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 2,
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "my_index001",
        "_type" : "_doc",
        "_id" : "fXbW9nQBgKKpTl0QYML0",
        "_score" : 1.0,
        "_source" : {
          "name" : "奶粉",
          "dec" : "婴幼儿奶粉",
          "price" : 270,
          "producer" : "奶粉producer",
          "tags" : [
            "婴幼儿",
            "二段"
          ]
        }
      },
      {
        "_index" : "my_index001",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.0,
        "_source" : {
          "name" : "奶粉",
          "dec" : "中老年奶粉",
          "price" : 250,
          "producer" : "中老年奶粉producer",
          "tags" : [
            "中老年",
            "补钙"
          ]
        }
      }
    ]
  }
}

    返回结果中_id=fXbW9nQBgKKpTl0QYML0的文档是方法一没有指定ID的方式下es帮我们自动生成的document的ID；_id=1的文档是我们手动指定document的ID的情况下插入的数据，如果id已经存在则报错。

返回结果中的信息：

took：耗费来几毫秒
time_out：是否超时，这里没有
_shards：拆分成来几个分片，若有多个分片，对于搜索请求，会打到所有的primary shard（或者它的某个replica shard也可以）
hits.total：查询结果的数量，2个document
hits.max_score：score的含义就是一个document对于一个search的相关度的匹配分数，越相关，就越匹配，分数也高
hits.hits：包含了匹配搜索的document的详细数据

  修改商品：更新指定document的指定字段

POST /my_index001/_doc/1/_update
{
  "doc" : {
      "price" : 280
   }
}

  替换document：此方法不是更新指定字段，而是将_id=1的document整个替换为下面插入的新的document。注意：若用这个方法更新，需要将原有的不需要更新的字段全部带上，否则会出现字段丢失。

POST /my_index001/_doc/1
{
  "price" : 280
}

  删除数据

DELETE /my_index001/_doc/1

bool查询：Query&Filtering与多字符串多字段查询

一个bool查询是一个或者多个查询子句的组合：总共包含4种子句。其中2种会影响算分，2种不影响算分

  • must              必须匹配。贡献算分
  • should           选择性匹配。贡献算分
  • must_not       Filter Context：查询子句，必须不能匹配
  • filter               Filter Context：必须匹配，但是不贡献算分

相关性并不只是全文检索的专利。也适用于yes|no的子句，匹配的子句越多，相关性评分越高。如果多条查询子句被合并为一条复合查询语句，比如bool查询，则每个查询字句计算得出的评分会被合并到总的相关性评分中。

bool组合查询

GET /my_index001/_search
{
  "query": {
    "bool": {
      "must": [
        {"match": {
          "name": "奶粉"
        }}
      ],
      "must_not": [
        {"match": {
          "name": "牙膏"
        }}
      ],
      "filter": {
        "range": {
          "price": {
            "gte": 200,
            "lte": 300
          }
        }
      },
      "should": [
        {"match": {
          "producer": "producer"
        }}
      ]
    }
  }
}

上面这个bool查询中用到must、must_not、should、filter，这四个可以并行以任意顺序出现，在比的bool查询中，没有must条件，should中必须满足一条查询。

查询语句的结构会对相关度算分产生影响

查询语句
GET /my_index001/_search
{
  "query": {
    "bool": {
      "should": [
        {"match": {"tags": "老人"}},
        {"match": {"tags": "婴儿"}},
        {"bool": {
          "should": [
            {"match": {
              "tags": "中年"
            }}
          ]
        }}
      ]
    }
  }
}

返回结果：
"hits" : {
    "total" : 3,
    "max_score" : 2.345461,
    "hits" : [
      {
        "_index" : "my_index001",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 2.345461,
        "_source" : {
          "name" : "奶粉",
          "dec" : "老人奶粉",
          "price" : 240,
          "producer" : "老人奶粉producer",
          "tags" : [
            "老人"
          ]
        }
      },
      {
        "_index" : "my_index001",
        "_type" : "_doc",
        "_id" : "fXbW9nQBgKKpTl0QYML0",
        "_score" : 2.345461,
        "_source" : {
          "name" : "奶粉",
          "dec" : "婴儿奶粉",
          "price" : 270,
          "producer" : "奶粉producer",
          "tags" : [
            "婴儿"
          ]
        }
      },
      {
        "_index" : "my_index001",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.4779618,
        "_source" : {
          "name" : "奶粉",
          "dec" : "中年奶粉",
          "price" : 240,
          "producer" : "中年奶粉producer",
          "tags" : [
            "中年",
            "帮助睡眠"
          ]
        }
      }
    ]
  }

上面的查询中tags="老人"和tags="婴儿"的文档的扽都为2.345461，而tags="中年"的文档得分为1.4779618，是因为前面两个文档查询时条件在同一层级，而最后一个文档查询条件的层级则是在前两个文档的下一层，上面的查询语句可见。

控制字段的boosting，控制关键词搜索结果的得分

查询语句：
GET /my_index001/_search
{
  "query": {
    "bool": {
      "should": [
        {"match": {
          "tags": {
            "query": "老人", 
            "boost":4
          }
        }},
        {"match": {
          "tags": {
            "query": "婴儿",
            "boost":1
          }
        }}
      ]
    }
  }
}

返回结果：
"hits" : [
      {
        "_index" : "my_index001",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 9.381844,
        "_source" : {
          "name" : "奶粉",
          "dec" : "老人奶粉",
          "price" : 240,
          "producer" : "老人奶粉producer",
          "tags" : [
            "老人"
          ]
        }
      },
      {
        "_index" : "my_index001",
        "_type" : "_doc",
        "_id" : "fXbW9nQBgKKpTl0QYML0",
        "_score" : 2.345461,
        "_source" : {
          "name" : "奶粉",
          "dec" : "婴儿奶粉",
          "price" : 270,
          "producer" : "奶粉producer",
          "tags" : [
            "婴儿"
          ]
        }
      }
    ]
  }

boost设置为4的关键词的查询结果得分为9.381844，boost设置为1的关键词的查询结果得分则为2.345461。若两个boost得分都设置为4，则返回结果两个文档的得分都等于9.381844。

短语检索（phrase search）

以上的查询使用的都是全文检索，全文检索会将输入的搜索串拆解开来，去倒排索引里面去一一匹配，只要能匹配上任意一个拆解后的单词，就可以作为结果返回。相反，短语检索要求输入的搜索串必须在指定的字段文本中，完全包含一摸一样的，才可以算匹配，才能所谓结果返回。语法如下：

GET /my_index001/_search
{
  "query": {
    "match_phrase": {
      "dec": "老人奶粉"
    }
  }
}

聚合分析

    在使用es的聚合分析功能之前必须将聚合分析的字段的fielddata属性设置为true，否则会报action_request_validation_exception这个异常，设置索引的某个字段的fielddata属性语法如下：

PUT /my_index001/_mapping/_doc
{
  "properties": {
    "name":{
      "type": "text",
      "fielddata": true
    }
  }
}

    计算每个name下的商品数量，注意若有中文需自行设置IK分词器，es内置的中文分词器会把中文拆分成一个个单独的文字：

聚合语法：
GET /my_index001/_search
{
  "size": 0,                   //若不加size，会把聚合用到所有的document也一并返回
  "aggs": {
    "group_by_name": {         //聚合返回结果名称
      "terms": {
        "field": "name"        //聚合字段
      }
    }
  }
}

返回结果：
"aggregations" : {
    "group_by_name" : {                        //聚合返回结果名称，与上面相对应
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [                            //聚合结果
        {
          "key" : "奶粉",
          "doc_count" : 3
        },
        {
          "key" : "裤子",
          "doc_count" : 1
        }
      ]
    }
  }

    计算name="奶粉"下每个tag下的商品数量：

GET /my_index001/_search
{
  "size": 0, 
  "query": {
    "match": {
      "name": "奶粉"
    }
  }, 
  "aggs": {
    "group_by_tags": {
      "terms": {
        "field": "tags"
      }
    }
  }
}

    先分组，再计算每组的平均值，计算每个name下商品的平均值：

GET /my_index001/_search
{
  "size": 0, 
  "aggs": {
    "group_by_name": {
      "terms": {
        "field": "name"
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

    计算每个name下的price的平均值，并按照price升序排序：

GET /my_index001/_search
{
  "size": 0, 
  "aggs": {
    "group_by_name": {
      "terms": {
        "field": "name",
        "order": {
          "avg_price": "asc"
        }
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

按照指定价格范围区间进行分组，然后在每组内再按照tag进行分组，最后计算每组平均价格：

GET /my_index001/_search
{
  "size": 0, 
  "aggs": {
    "group_by_price": {
      "range": {
        "field": "price",
        "ranges": [
          {
            "from": 0,
            "to": 100
          },
          {
            "from": 100,
            "to": 200
          },
          {
            "from": 200,
            "to": 300
          }
        ]
      },
      "aggs": {
        "group_by_name": {
          "terms": {
            "field": "name"
          },
          "aggs": {
            "average_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
}

 

买个橘籽
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
esquerydsl:通过 golang 中的 Query DSL 安全地创建复杂的 ES 搜索查询
05-31
帮助解决使用规范编写弹性搜索查询的结构和编组器 安装 go get github.com/mottaquikarim/esquerydsl 用法 （您可以将下面的代码片段复制粘贴到并亲自查看） package main import ( "encoding/json" "fmt" "github.com/mottaquikarim/esquerydsl" ) func main () { body , _ := json . Marshal (esquerydsl. QueryDoc { Index : "some_index" , Sort : [] map [ string ] string { map [ string ] string { "id" : "asc" }}, And : []esquerydsl. QueryItem { esquery
Elasticsearch教程(2) ES查询语句Query DSL详细教程
Java Spring Elasticsearch
09-29 1672
0. 准备好数据 "hits": [ { "_index": "pigg", "_type": "_doc", "_id": &a
Elasticsearch教程之《一文读懂ES-DSL》
最新发布
极客世杰
06-20 1250
bool。
ElasticSearch 常用的查询过滤语句
qiezikuaichuan的专栏
08-02 5914
http://www.cnblogs.com/ghj1976/p/5293250.html query 和  filter 的区别请看： http://www.cnblogs.com/ghj1976/p/5292740.html    Filter DSL   term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文
【ES系列】ES的数据结构与DSL语法
m0_50697831的博客
02-06 3048
elasticsearch 数据结构 检索 搜索语法
ElasticSearch Index查询（Query DSL）
DataCareer的博客
03-03 2283
ES 查询快速入门
elasticsearch-dsl.cr：Elasticsearch的Crystal DSL
02-04
5. **聚合**：支持Elasticsearch的聚合功能，如术语聚合、度量聚合等，用于数据分析和数据可视化。 6. **搜索结果处理**：DSL提供了友好的方法来处理搜索结果，包括获取命中数、遍历结果集等。 7. **错误处理**：...
elasticsearch-dsl-py：Elasticsearch的高级Python客户端
02-05
Elasticsearch-DSL-Py支持聚合功能，如分桶聚合和统计聚合： ```python aggs = Book.search().agg( 'terms', field='author', aggs={ 'max_pub_year': 'max', field='publication_year' } ) response = aggs....
es-dsl-cheatsheet:Elasticsearch 查询 DSL 备忘单
06-23
Elasticsearch（ES）是一种强大的分布式搜索和分析引擎，广泛应用于日志分析、信息检索、实时数据分析等领域。它的查询DSL（Domain Specific Language）是用于构建复杂搜索和过滤条件的语言，允许用户以JSON格式进行...
elasticsearch_dsl:用于 Elasticsearch 的 Python 领域特定语言
06-24
用于弹性搜索的 DSL 动机 近年来软件领域的一个新兴趋势，包括 mongodb、elasticsearch 和 Chef，都是公开一个 JSON 接口来接受复杂的... 只是json.dumps(query_py_obj) ，你会得到 JSON 请求到 elasticsearch neste
flask-elasticsearch:具有 elasticsearch-dsl-py 集成的简单 Flask 应用程序
07-22
6. **查询 DSL**：`elasticsearch-dsl-py` 提供了一个丰富的查询 DSL，允许你构建复杂的查询结构，如布尔查询、范围查询、聚合等。 7. **错误处理和日志记录**：在实际应用中，你还需要处理可能的网络错误和日志...
ES 添加对象Nested和Object 的区别
蓝天
01-05 2411
ObjectES原生支持Object类型，也就是任意字段都可以是个对象，而ES又是所有字段都支持多值，即都可以是list。es的object类型虽然是对象类型，但是数据是打平存储的。就丢失了keyword和count之间的关联关系，就不知道谁是 1谁是2了。可是NP0001是1，NP0002才是2 所以，为解决es object类型的数据扁平化存储问题，引入了nested类型。
springboot整合JPA+MYSQL+queryDSL数据增删改查
MR_wb的博客
03-30 4868
springboot 整合 jpa mysql 数据增删改查
ES-聚合查询
蓝天⊙白云的博客
03-16 7833
size=0 { “aggs”: { “”: { “histogram”: { “field”: “price”, #字段名称 “interval”: 1000, #区间间隔 “keyed”: true, #返回数据的结构化类型 “min_doc_count”: , #返回桶的最小文档数阈值，即文档数小于num的桶不会被输出 “missing”: 1999 #空值的替换值，即如果文档对应字段的值为空，则默认输出1999（参数值） } } } }
ElasticSearch 高级查询语法
星空下的博客
06-27 1351
ElasticSearch 高级查询语法Query DSL
Elasticsearch高级查询Query DSL
Charge8的博客
06-19 2975
Elasticsearch高级查询Query DSL
【ES专题】ElasticSearch 高级查询语法Query DSL实战
qq_32681589的博客
10-31 2367
语法结构比较陌生没有中文文档， 只能看英文其他博客也比较少介绍语法结构。比如说，为什么查询中会出现query关键词就跟Mysql有自己的查询语言一样，ES作为一款优秀的分布式文档存储和【搜索引擎】，它也有自己的查询语言。即：Query DSL（查询Domain Specific Language），查询领域专用语言。Query DSL是利用RESTfull风格API传递JSON格式的请求体（RequestBody）数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。
ES查询语法解析
踩踩踩从踩的博客
11-20 2301
ES应用场景及核心概念二_踩踩踩从踩的博客-CSDN博客 ES应用场景及核心概念一_踩踩踩从踩的博客-CSDN博客_es适用场景 前言 之前得文章解析过ES的应用场景及核心概念，包括介绍基本结构及使用方式，以及各个版本之间的适配，以及type类型的弱化，以及其中分词器的选择等。本篇文章会继续介绍最常用的查询语法的api,request的请求方式，高级的查询方式 以及dsl是什么，dsl语法等。 搜索API（_search API） 对于一般的搜索api 在官网中给我们展示的是 search ，包
Elasticsearch系列之Query DSL
冯文议技术博客
07-13 654
1 前言 我们先通过阅读官方文档，了解一些什么是 Query DSL 。 1.1 Query DSL Elasticsearch provides a full Query DSL (Domain Specific Language) based on JSON to define queries. DSL是啥？ 由Elasticsearch提供的一套完整的JSON格式的查询语句。 Think of the Query DSL as an AST (Abstract Syntax Tree)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值