Elasticsearch Query DSL (语法)

最新推荐文章于 2024-08-10 15:42:28 发布
最新推荐文章于 2024-08-10 15:42:28 发布
阅读量447 收藏 1
点赞数
分类专栏： elasticsearch学习 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43528713/article/details/125633750
版权

Elasticsearch 提供了一个可以执行查询的 Json 风格的 DSL（domain-specific language 领域特
定语言）。这个被称为 Query DSL。

一. 基本数据格式

举个栗子🌰

GET movies/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "terms": {
            "title": [
              "beautiful"
            ]
          }
        },
        {
          "range": {
            "year": {
              "gte": 1990,
              "lte": 1992
            }
          }
        }
      ]
    }
  }
}
//------------------------结果-----------------------------------
{
  "took" : 38,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.0,
    "hits" : [
      {
        "_index" : "movies",
        "_type" : "_doc",
        "_id" : "130996",
        "_score" : 0.0,
        "_source" : {   // _source: 需要返回的字段
          "id" : "130996",
          "year" : 1992,
          "@version" : "1",
          "title" : "The Beautiful Story",
          "genre" : [
            "Adventure",
            "Drama",
            "Fantasy"
          ]
        }
      }
    ]
  }
}

二. match (匹配查询)

  1. 对于数据类型的(非字符串), 进行精确匹配
# 找出2012年播放的电影
GET movies/_search
{
  "query": {
    "match": {
      "year": 2012
    }
  }
}
  1. 对于字符串类型的字段, 进行全文搜索, 模糊匹配
# 找出标题含有beautiful的电影
GET movies/_search
{
  "query": {
    "match": {
      "title": "beautiful"
    }
  }
}
  1. 字符串，多个单词 (分词+全文检索)
# 找出标题含有beautiful mind的电影
GET movies/_search
{
  "query": {
    "match": {
      "title": "beautiful mind"  // 包含beautiful 或 mind 或 beautiful mind 的
    }
  }
}
  1. 精确匹配字符串
# 精确匹配字符串
GET movies/_search
{
  "query": {
    "match": {
      "title.keyword": "beautiful mind"  
    }
  }
}

三. match_phrase(短语匹配)

将需要匹配的值当成一个整体单词（不分词）进行检索

# 将需要匹配的值当成一个整体单词（不分词）进行检索
GET movies/_search
{
  "query": {
    "match_phrase": {
      "title": "beautiful mind"  
    }
  }
}

四. multi_match(多字段匹配)

# 多字段匹配
GET movies/_search
{
  "query": {
    "multi_match": {
      "query": "beautiful 2010",
      "fields": ["title","year"] 
    }
  }
}

五. bool(复合查询)

bool 用来做复合查询： 复合语句可以合并任何其它查询语句，包括复合语句，复合语句之间可以互相嵌套，可以表达非常复杂的逻辑

  1. must: 必须达到must所列举的所有条件
GET movies/_search
{
  "query": {
    "bool": {
      "must": [
        {               
          "range": {
            "year": {
              "gte": 1990,
              "lte": 1992
            }
          }
        }, //条件1   年份范围内
        {
          "match": {
            "title": "beautiful mind"
          }
        }   // 条件2  标题包含关键词
      ]
    }
  }
}
  1. must_not 必须不是指定的情况
GET movies/_search
{
  "size": 1, 
  "query": {
    "bool": {
      "must_not": [
        {
          "range": {
            "year": {
              "gte": 1990,
              "lte": 1992
            }
          }
        },
        {
          "match": {
            "title": "beautiful mind"
          }
        }
      ]
    }
  }
}
  1. should 应该达到的条件- (匹配到能提高文档得分, 匹配不到不会影响查询结果)
GET movies/_search
{
  "size": 1, 
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "year": {
              "gte": 1990,
              "lte": 1992
            }
          }
        },
        {
          "match": {
            "title": "beautiful"
          }
        }
      ],
      "should": [
        {
          "match": {
            "title": "mind"
          }
        }
      ]
    }
  }
}
  1. filter (结果过滤) 为了不计算分数 Elasticsearch 会自动检查场景并且优化查询的执行。
GET movies/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "title": "beautiful"
          }
        }
      ],
      "filter": [
        {
          "range": {
            "year": {
              "gte": 2010,
              "lte": 2012
            }
          }
        }
      ]
    }
  }
}

六. term(精确匹配)

全文检索字段用 match，其他非 text 字段匹配用 term

举个栗子🌰

GET movies/_search
{
  "query": {
    "term": {
      "year": "2010"
    }
  }
}

七. aggs(聚合)

创建employee 索引 并准备数据

// 创建索引
PUT employee
{
  "mappings": {
    "properties": {
      "id":{
        "type": "integer"
      },
      "name":{
        "type": "keyword"
      },
      "job":{
        "type": "keyword"
      },
      "age":{
        "type": "integer"
      },
      "gender":{
        "type": "keyword"
      }
    }
  }
}

// 准备数据
PUT employee/_bulk
{"index": {"_id": 1}}
{"id": 1, "name": "Bob", "job": "java", "age": 21, "sal": 8000, "gender": "female"}
{"index": {"_id": 2}}
{"id": 2, "name": "Rod", "job": "html", "age": 31, "sal": 18000, "gender": "female"}
{"index": {"_id": 3}}
{"id": 3, "name": "Gaving", "job": "java", "age": 24, "sal": 12000, "gender": "male"}
{"index": {"_id": 4}}
{"id": 4, "name": "King", "job": "dba", "age": 26, "sal": 15000, "gender": "female"}
{"index": {"_id": 5}}
{"id": 5, "name": "Jonhson", "job": "dba", "age": 29, "sal": 16000, "gender": "male"}
{"index": {"_id": 6}}
{"id": 6, "name": "Douge", "job": "java", "age": 41, "sal": 20000, "gender": "female"}
{"index": {"_id": 7}}
{"id": 7, "name": "cutting", "job": "dba", "age": 27, "sal": 7000, "gender": "male"}
{"index": {"_id": 8}}
{"id": 8, "name": "Bona", "job": "html", "age": 22, "sal": 14000, "gender": "female"}
{"index": {"_id": 9}}
{"id": 9, "name": "Shyon", "job": "dba", "age": 20, "sal": 19000, "gender": "female"}
{"index": {"_id": 10}}
{"id": 10, "name": "James", "job": "html", "age": 18, "sal": 22000, "gender": "male"}
{"index": {"_id": 11}}
{"id": 11, "name": "Golsling", "job": "java", "age": 32, "sal": 23000, "gender": "female"}
{"index": {"_id": 12}}
{"id": 12, "name": "Lily", "job": "java", "age": 24, "sal": 2000, "gender": "male"}
{"index": {"_id": 13}}
{"id": 13, "name": "Jack", "job": "html", "age": 23, "sal": 3000, "gender": "female"}
{"index": {"_id": 14}}
{"id": 14, "name": "Rose", "job": "java", "age": 36, "sal": 6000, "gender": "female"}
{"index": {"_id": 15}}
{"id": 15, "name": "Will", "job": "dba", "age": 38, "sal": 4500, "gender": "male"}
{"index": {"_id": 16}}
{"id": 16, "name": "smith", "job": "java", "age": 32, "sal": 23000, "gender": "male"}

单值: sum, avg, min, max, cardinality

  1. sum 求和
# 查询工资的总和
GET employee/_search
{
  "size": 0,
  "aggs": {
    "sum_sal": {
      "sum": {
        "field": "sal"
      }
    }
  }
}
  1. avg 平均
# 查询平均工资
GET employee/_search
{
  "size": 0,
  "aggs": {
    "avg_sal": {
      "avg": {
        "field": "sal"
      }
    }
  }
}
  1. min 最小值
# 查询最低工资
GET employee/_search
{
  "size": 0,
  "aggs": {
    "min_sal": {
      "min": {
        "field": "sal"
      }
    }
  }
}
  1. max 最大值
# 查询最高工资
GET employee/_search
{
  "size": 0,
  "aggs": {
    "max_sal": {
      "max": {
        "field": "sal"
      }
    }
  }
}
  1. cardinality (去重)
# 查询总共有多少个岗位(对属性去重后count查询)
GET employee/_search
{
  "size": 0,
  "aggs": {
    "sum_job": {
      "cardinality": {
        "field": "job"
      }
    }
  }
}

返回多值 : stats , terms

  1. stats
# 查询员工工资信息(数值类型)
GET employee/_search
{
  "size": 0, 
  "aggs": {
    "sal_info": {
      "stats": {
        "field": "sal"
      }
    }
  }
}
//----------------------------结果--------------------------------
{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 16,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "sal_info" : {
      "count" : 16,   
      "min" : 2000.0,
      "max" : 23000.0,
      "avg" : 13281.25,
      "sum" : 212500.0
    }
  }
}
  1. terms
# 查询每个岗位有多少人
GET employee/_search
{
  "size": 0,
  "aggs": {
    "job_emps_num": {
      "terms": {
        "field": "job"
      }
    }
  }
}

复杂聚合嵌套

举个栗子🌰

# 查询每个岗位下工资的信息(平均、最高、最少等)
GET employee/_search
{
  "size": 0, 
  "aggs": {
    "job_info": {
      "terms": {
        "field": "job"
      },
      "aggs": {
        "diff_job_sal_info": {
          "stats": {
            "field": "sal"
          }
        }
      }
    }
  }
}

# 查询不同工种的男女员工数量、然后统计不同工种下男女员工的工资信息
GET employee/_search
{
  "size": 0,
  "aggs": {
    "job_info": {
      "terms": {
        "field": "job"
      },
      "aggs": {
        "diff_job_gender_no": {
          "terms": {
            "field": "gender"
          },
          "aggs": {
            "diff_job_gender_sal_info": {
              "stats": {
                "field": "sal"
              }
            }
          }
        }
      }
    }
  }
}

# 查询年龄最大的两位员工的信息
GET employee/_search
{
  "size": 0,
  "aggs": {
    "older_two_emp": {
      "top_hits": {
        "size": 2,
        "sort": [
          {
            "age": {
              "order": "desc"
            }
          }
        ]
      }
    }
  }
}

# 查询不同工资区间员工工资的统计信息
GET employee/_search
{
  "size": 0,
  "aggs": {
    "rang_sal_info": {
      "range": {
        "field": "sal",
        "ranges": [
          {
            "key": "0 <= sal < 10001", 
            "to": 10001
          },
          {
            "key": "10001 <= sal < 20001", 
            "from": 10001, 
            "to": 20001
          },
          {
            "key": "20001 <= sal < 30001", 
            "from": 20001, 
            "to": 30001
          }
        ]
      }
    }
  }
}

# 以直方图的方式以每5000元为一个区间查询员工工资信息
GET employee/_search
{
  "size": 0,
  "aggs": {
    "range_sal_info": {
      "histogram": {
        "field": "sal",
        "interval": 5000,
        "extended_bounds": {
          "min": 0,
          "max": 15000
        }
      }
    }
  }
}

# 查询平均工资最低的工种
GET employee/_search
{
  "size": 0,
  "aggs": {
    "job_info": {
      "terms": {
        "field": "job"
      },
      "aggs": {
        "diff_job_avg_sal": {
          "avg": {
            "field": "sal"
          }
        }
      }
    },
    "min_avg_sal_job": {
      "min_bucket": {
        "buckets_path": "job_info>diff_job_avg_sal"
      }
    }
  }
}

# 查询年龄大于30岁的员工的平均工资
GET employee/_search
{
  "size": 0, 
  "query": {
    "range": {
      "age": {
        "gt": 30
      }
    }
  },
  "aggs": {
    "gt_30_emp_avg_sal": {
      "avg": {
        "field": "sal"
      }
    }
  }
}

# 查询Java员工的平均工资(不进行相关性算法，效率更高)
GET employee/_search
{
  "size": 0, 
  "query": {
    "constant_score": {
      "filter": {
        "term": {
          "job": "java"
        }
      },
      "boost": 1.2
    }
  },
  "aggs": {
    "java_emp_avg_sal": {
      "avg": {
        "field": "sal"
      }
    }
  }
}

# 求30岁以上的员工平均工资和所有员工的平均工资
GET employee/_search
{
  "size": 0,
  "aggs": {
    "all_emp_avg_sal": {
      "avg": {
        "field": "sal"
      }
    },
    "gt_30_emp_avg_info": {
      "filter": {
        "range": {
          "age": {
            "gt": 30
          }
        }
      },
      "aggs": {
        "gt_30_emp_avg_sal": {
          "avg": {
            "field": "sal"
          }
        }
      }
    }
  }
}
かギ尘埃
关注
专栏目录
ElasticSearch - DSL查询文档语法，以及深度分页问题、解决方案
CYK_byte的博客
09-26 2923
你在淘宝里买东西的时候，要通过一些信息进行筛选，比如 销量、信誉、价格升序... 这些词一般都是固定一个按钮，点击就会帮你做筛选.
ElasticSearch Query DSL原理与代码实例讲解
AI天才研究院
06-06 879
ElasticSearch Query DSL原理与代码实例讲解 1. 背景介绍 1.1 全文搜索引擎概述 在大数据时代,海量数据的检索和分析是一个巨大的挑战。传统的关系型数据库在处理大规模数据时性能较差,
ElasticSearch - Query DSL 查询语言
袭冷
02-15 765
一、关于 1、QueryDSL 介绍 Elasticsearch 提供了一个完整的基于 JSON 的查询 DSL（Domain Specific Language）来定义查询 一个查询语句可由 叶子查询子句（Leaf query clauses）和 复合查询子句（Compound query clauses）两部分字句构成 叶子查询字句 在指定的字段上查询指定的值, 如：match、term、range等，字句可以单独使用 复合查询字句 包装其他叶子查询或复合查询为一个查询，并用于以逻辑方式组
详解Elasticsearch Query DSL
neweastsun的专栏
02-14 1047
详解Elasticsearch Query DSL Elasticsearch是目前的首选搜索、分析引擎，但要熟练掌握查询DSL着实不易。本文在前文的基础上进一步深入学习。 1. 精确检索 vs 全文检索 Elasticsearch中所有检索主要可分为三类： 精确检索 全文检索 两者组合检索（简称组合检索） 文档字段可分为两类：精确文本（keyword）和分析文本（text，也称为全文本）。精...
ElasticSearch 高级查询语法Query DSL
weixin_51049616的博客
08-10 1722
查询的数据页数特别大，当from + size大于10000的时候，就会出现问题，如下图报错信息所示：ES通过参数index.max_result_window用来限制单次查询满足查询条件的结果窗口的大小，其默认值为10000。分页方式性能优点缺点适用场景低灵活性好，实现简单，支持随机翻页受制于max_result_window设置，不能无限制翻页；存在深度翻译问题，越往后翻译越慢。数据量比较小，能容忍深度分页问题scroll中解决了深度分页问题。
【Elasticsearch】Query DSL
codedot
02-06 315
elasticsearch常用脚本操作
Elasticsearch 5.4 Query DSL
1.02^365=1377.41
06-30 2417
Elasticsearch提供了丰富的查询语句DSL，查询可分2类： Leaf Query：查询特定字段特定值的查询，可以单独使用，比如match查询、term查询、range查询。 Compound Query：组合查询，组合多个简单查询或者特殊查询。先占坑，有时间更新Y(^_^)Y
ElasticSearch 高级查询语法
星空下的博客
06-27 2769
ElasticSearch 高级查询语法Query DSL
Elasticsearch Query DSL概述与查询、过滤上下文
m0_69377236的博客
04-17 155
从本节开始，先详细介绍Elasticsearch Query DSL语法，该部分是SearchAPI的核心基础之一。 Elasticsearch提供了一个基于JSON的完整查询DSL（领域特定语言）来定义查询。把查询DSL看作是查询的AST（抽象语法树），由两种类型的子句组成： Leaf query clauses(叶查询字句) 叶子查询子句指在特定的字段中寻找特定的值，例如匹配、范围查询或term(完全匹配)。这些查询 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义
Elasticsearch---(4)Elasticsearch DSL常用语法
Mr.Cao
05-13 1564
3、 Elasticsearch DSL常用语法 数据准备 # 创建索引，设置分片副本，配置映射 PUT /demo { "settings":{ "number_of_replicas": 1, "number_of_shards": 3 }, "mappings":{ "user":{ "properties":{ "name":{"type":"text"}, "age":{"type":"integer"},
Elasticsearch DSL 查询
彳亍
07-18 487
DSL是 Domain Specific Language（特定领域语言）的缩写。 Elasticsearch 提供了功能丰富且灵活的查询语言，即DSL 查询。你可以用它构建出更加复杂、功能更加强大的查询语句。 先来一个简单的例子，比如，我们可以这样查询 first_name 字段包含 John 的用户。 GET /alibaba/user/_search { "query" ...
Elasticsearch Query DSL 整理总结
Allen技术小站
06-14 954
引言 虽然之前做过 elasticsearch 的项目，但是没有对整个项目的知识点进行过系统的整理。这次趁着对 elasticsearch 版本的升级的机会（从2.2 升级到 6.3) ，又专门花时间对涉及到的知识点重新梳理了一遍。 俗话说，好记性不如烂笔头。为了加深对 elasticsearch 的理解，后面再做类似项目时更容易捡起来，以及对用到的同学提供方便。从本文开始，我会对 elasticsearch Query DSL 的知识点进行梳理。 在讲解时我会尽量以实例代码展示的方式进行最直观的展现
【ElasticSearch】query语法
qq_31426247的博客
06-09 6218
介绍ES 的query子句的语法，query子句主要用于编写查询条件，类似SQL中的where语句。query子句主要用来编写类似SQL的Where语句，支持布尔查询（and/or）、IN、全文搜索、模糊匹配、范围查询（大于小于）。通过match实现全文搜索，全文搜索的后面有单独的章节讲解，这里大家只要知道简单的用法就可以。说明：{FIELD} - 就是我们需要匹配的字段名{TEXT} - 就是我们需要匹配的内容article索引中，title字段匹配ES教程的所有文档。
Elasticsearch Query DSL
wfs
05-17 2218
官方文档：Query DSL Query DSL： Elasticsearch提供基于JSON的完整Query DSL（域特定语言）来定义查询。可以将查询DSL看作查询的AST（抽象语法树），它由两类子句组成： 叶查询子句：叶查询子句在特定字段中查找特定值，如 match，term或 range查询。这些查询可以自己使用。 复合查询子句：复合查询子句包装其他叶或复合查询，并用于以逻辑方式组...
ElasticSearch Query DSL
Live and Learn
01-16 521
ES 的 DSL 通常由两种子句组成： 针对特定字段匹配特定值的 Leaf query clauses，例如 match, match_all, term 或者 range 查询 组合了 Leaf query clauses 或其它复合查询的 Compound query clauses (复合查询)，例如 bool 或者 dis_max 查询 上述两种查询在 匹配和过滤（query cont...
Elasticsearch搜索引擎第十篇-Query DSL详解
热门推荐
supermao1013的专栏
11-20 1万+
文章目录DSL介绍Match all queryFull text querymatch querymatch phrase querymatch phrase prefix query 官网介绍链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html DSL介绍 Domain Specifi...
Elasticsearch中的Query DSL
成长永远没有尽头
05-10 460
Elasticsearch提供了一个可以执行查询的Json风格的DSL（domain-specificlanguage领域特定语言）。这个被称为Query DSL，该查询语言非常全面，并且刚开始的时候感觉有点复杂，真正学好它的方法是从一些基础的示例开始的。 一个查询语句的典型结构 { QUERY_NAME:{ ARGUMENT: VALUE, ARGUMENT: VALUE,... } } 如果是针对某个字段，那么它的结构...
Elasticsearch 各种query语法
JAVA拾贝
12-11 1万+
Elasticsearch实战 准备几条数据 POST /vehicle/car/_bulk {"index":{"_id":1}} {"name":"benz","detail":"suv sport","price":550000,"tags":["SUV","Sport"]} {"index":{"_id":2}} {"name":"bmw","detail":"benz zs","price":350000,"tags":["Zs"]} match all 匹配所有 GET /v
ElasticSearch8.0 must 语法
最新发布
09-03
在 Elasticsearch 中，使用 Query DSL（Domain Specific Language）来构建搜索查询。`must` 关键字在 Elasticsearch 的查询语句中用于指定必须满足的条件，它是布尔查询（bool query）中的一个子句。 在布尔查询中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值