ES 查询语法 Query DSL

已于 2023-08-26 21:29:04 修改
阅读量3.2w 收藏 96
点赞数 17
分类专栏： 大数据 文章标签： elasticsearch 自然语言处理
于 2021-09-18 15:15:44 首次发布
原文链接：www.baidu.com
版权

文章目录

概念介绍

search方式主要分为2类：URI Search和 body Search

在这里插入图片描述

1. URI Search

  • 操作简便，方便通过命令进行测试
  • URI Search 仅包含部分查询语法
    在这里插入图片描述

2. Body Search

  • 搜索条件越来越复杂 url Search会越来越长. 这时候就该用 Body Search了，把搜索条件写在请求体中
  • Body Search 支持完备的 Query DSL 查询语法
    在这里插入图片描述

查询语法 Query DSL

es提供的一套完整的基于json格式的结构化查询语法

1.Leaf query clauses 字段类查询

只针对某一个字段进行查询
特定字段中查找特定值

Term-level queries 单词级查询

单词匹配：精确匹配

  • 对倒排索引中存储的词项进行精确匹配操作。
  • 通常用于结构化数据：数字、日期和枚举类型

term：不分词
terms
range：用于date或number类型的字段范围查询
exists
prefix
wildcard
regexp
fuzzy
type
ids

Full text queries 全文查询

相关性分数匹配（Relevance scores）

  • 会对查询语句先进行分词处理，分词后查询语句的任何一个词项被匹配，文档就会被搜到
  • 通常针对text类型的字段进行全文检索，

match：匹配查询
match_phrase：有顺序要求
match_phrase_prefix
multi_match ：多字段匹配查询
common_terms
query_string
simple_query_string

详细示例

  1. term 不分词

  2. terms
    在这里插入图片描述
    4. range 用于date或number类型的字段范围查询在这里插入图片描述

    1. match 匹配查询,用评分机制(TF/IDF)进行打分在这里插入图片描述

    2. match_all 查询所有

    3. multi_match 多字段匹配查询

    4. match_phrase 有顺序要求,查询指定段落

    5. query_string

    6. simple_query_string

2.Compound query clauses 复合查询

包含一个或多个字段类查询或者复合查询语句
以逻辑方式组合多个查询（如 bool 和 dis_max 查询）
或更改其行为（如 constant_score 查询）。

POST /_search
{
    "query":{
        "查询类型":{
            "查询条件":"查询条件值"
        }
    }
}

bool

  • bool :布尔查询由一个或多个布尔子句组成
    1. must 返回的文档必须满足must子句的条件,并且参与计算分值
    2. must_not 返回的文档必须不满足定义的条件
    3. filter 返回的文档必须满足filter子句的条件, 不计算分值
    4. should 如果没有must或者filter，有一个或者多个should子句，那么只要满足一个就可以返回

在这里插入图片描述
1. must 返回的文档必须满足must子句的条件,并且参与计算分值在这里插入图片描述
2. must_not 返回的文档必须不满足定义的条件在这里插入图片描述
3. filter 返回的文档必须满足filter子句的条件, 不计算分值
用于过滤结构化数据

将查询子句传递给 filter 参数（如 bool 查询中的 filter or must_not 参数、 constant_score 查询中的 filter 参数或 filter 聚合）时，筛选器上下文就会生效。
在这里插入图片描述
5. should 如果没有must或者filter，有一个或者多个should子句，那么只要满足一个就可以返回在这里插入图片描述
在这里插入图片描述

  • constant_score在这里插入图片描述
    在这里插入图片描述

boosting

把两个查询封装在一起并降低其中一个查询的评分

constant_score 固定评分

匹配过滤器查询条件的文档，
所有匹配的文档都被赋予相同的“常量” _score

dis_max 析取最大值

支持多并发查询
bool 查询组合了所有匹配查询的分数，
dis_max 查询则使用单个最佳匹配查询子句的分数。

function_score 函数评分

修改查询的文档得分

3. 嵌套查询 TODO

多索引查询 TODO

一个索引可以接受多个 alias 别名，而一个别名也可以映射到多个索引

索引1,索引2

聚合查询 TODO

聚合将您的数据总结为指标、统计数据或其他分析

Metric 指标聚合

根据字段值计算指标（例如总和或平均值）的指标聚合。

Bucket 存储桶聚合

存储桶聚合，根据字段值、范围或其他条件将文档分组到存储桶（也称为存储桶）中

Pipeline 管道聚合

从其他聚合而不是文档或字段获取输入。

REST API

Search APIs

以 _search 为endpoint，主要分为字段类查询和复合查询。

作用：搜索数据，查询语法多，功能强大

在这里插入图片描述

Cat APIs （紧凑对齐的文本 Compact and aligned）

作用：JSON很乏味，终端需要紧凑且对齐的文本
查询Elasticsearch的相关信息。包括集群中的index数量、运行状态、当前集群所在的ip，

URI Search作用
GET _cat/查看cat支持的所有 endpoint 命令 ,常用：
health：集群健康信息
nodes：集群节点信息（主节点+数据节点）
allocation：集群分配信息（数据节点 与磁盘剩余）
GET _cat/【endpoint】?help查看该endpoint 数据列含义
GET _cat/【endpoint】?v查看该endpoint的列名+数据
GET _cat/【endpoint】?v&h=列名1,列名2…查看指定列
GET _cat/【endpoint】?v&s=列名指定列排序
GET _cat/【indices】?v查看索引

Count APIs

返回符合条件的文档数

GET /{index}/_count

在这里插入图片描述

常用query

集群

kibanaURI Search作用
GET /http://IP:9200/查看集群信息
GET _cat/health?vhttp://IP:9200/_cat/health?v查询集群健康信息
GET _cat/nodes?vhttp://IP:9200/_cat/nodes?v查询集群节点信息
GET _cat/allocation?vhttp://IP:9200/_cat/allocation?v查询集群数据节点信息

索引

methodkibanaURI Search作用
GETGET *http://IP:9200/_cat/indices?v查看所有索引列表
GETGET {index}http://IP:9200/{索引名称}查看指定索引 元数据

文档

methodkibana等同 URI Search作用
GETGET /_search空搜索, 搜索集群 下所有文档
GETGET {index}/_searchhttp://IP:9200/{索引名称}/_search搜索 索引 下所有文档
GETGET {index}/{type}/_search搜索 索引/类型 下所有文档
GETGET /_all/{type}/_search搜索 所有索引/类型 的文档
GETGET {index}/{type}/{id}索引/类型/id 获取唯一文档
POSTGET {index}/_search + {json条件}高级搜索
{
    QUERY_NAME: {
        FIELD_NAME: {
            ARGUMENT: VALUE,
            ARGUMENT: VALUE,...
        }
    }
}

高级搜索

url作用
GET {index}/_search + {json条件}高级搜索
GET /索引库名/_search
{
    "query":{
        "查询类型":{
            "查询条件":"查询条件值"
        }
    }
}
match_all 查询所有
GET /_search
{
	"query": {
		"match_all": {}
	}
}
match 匹配查询
GET /_search
{
	"query": {
		"match": {
			"price":4000.00
		}
	}
}
multi_match 多字段匹配查询

在多个字段中查询。

GET /_search
{
	"query": {
		"multi_match": {
			"query": "zhangsan",
			"fields": ["name","nickname"]
		}
	}
}
term 关键字精确查询

关键词匹配查询，不对查询条件进行分词

GET /_search
{
	"query": {
		"term": {
			"name": {
				"value": "zhangsan"
			}
		}
	}
}
terms 多关键字精确查询
{
	"query": {
		"terms": {
			"name": ["zhangsan","lisi"]
		}
	}
}
range 范围查询

2019 > timestamp > 2021

{"query": 
  {"bool": 
    {"must": 
      [ {"range": 
      		{"timestamp": 
      			{"from": "2019-05-09T18:25:01.000+0800"},
      			{"to": "2021-05-09T18:25:01.000+0800"}
      		}
        }
      ]
    }
  }
}

bool 组合查询

  • must（必须 ）、must_not（必须不）、should（应该）组合查询
    在这里插入图片描述
_source 查询指定字段
{
	"_source": ["name","nickname"],
	"query": {
		"terms": {
			"nickname": ["zhangsan"]
		}
	}
}
过滤字段
  • includes / excludes过滤字段
    1. includes：来指定想要显示的字段
    2. excludes：来指定不想要显示的字段
{
	"_source": {
		"includes": ["name","nickname"]
	},
	"query": {
		"terms": {
			"nickname": ["zhangsan"]
		}
	}
}
highlight 高亮
{
	"query": {
		"match": {
			"name": "zhangsan"
		}
	},
	"highlight": {
		"pre_tags": "<font color='red'>",
		"post_tags": "</font>",
		"fields": {
			"name": {}
		}
	}
}
排序
分页查询
## 默认返回10条，可用size指定返回条数，通过from指定位移
curl 'localhost:9200/accounts/person/_search'  -d '
{
    "query": {
        "match" : {
            "desc" : "软件"
        }
    },
    "from": 1,
    "size": 1
}'

query 示例数据

集群信息

  • GET http://IP:9200/
{
  "name": "eZ3dEvq",
  "cluster_name": "ElasticSearch",
  "cluster_uuid": "唯一id",
  "version": {
    "number": "5.5.3",
    "build_hash": "9305a5e",
    "build_date": "2017-09-07T15:56:59.599Z",
    "build_snapshot": false,
    "lucene_version": "6.6.0"
  },
  "tagline": "You Know, for Search"
}

索引信息

methodurl作用
PUThttp://IP:9200/{索引名称}创建索引
GEThttp://IP:9200/_cat/indices?v查看所有索引
GEThttp://IP:9200/{索引名称}查看单个索引
DELETEhttp://IP:9200/{索引名称}删除索引
  • 示例数据
{
	".kibana"【索引名】: {
		"aliases"【别名】: {},
		"mappings"【映射 mappings信息 :修改字段和类型】: {
			"timelion-sheet":{}
		},
		"settings"【settings信息 :修改分片和副本数】: {
			"index"【索引】: {
				"creation_date"【创建时间】: "1614265373911",
				"number_of_shards"【主分片数量】: "1",
				"number_of_replicas"【副分片数量】: "1",
				"mapper": {
					"dynamic": "false"
				},
				"provided_name"【名称】: ".kibana"
				"uuid"【唯一标识】: "eI5wemRERTumxGCc1bAk2A",
				"version"【版本】: {
					"created": "7080099"
				}
			}
		}
	}
}

mapping信息

  • 创建映射
curl -X PUT 'IP:9200/shopping/_mapping' -d '
{
	"properties": {
		"字段名":{
			"type": " 类型 :字符串/数字/日期/数组/对象【text、keyword（不可分词）、long、short、date、integer、Array、object】",
			"index": 是否索引【是索引就可以用来进行搜索】,
			"store": false，【是否将数据进行独立存储】,
			"analyzer": "分词器"
		},
		"name":{
			"type": "text",
			"index": true
		},
		"sex":{
			"type": "text",
			"index": false
		},
		"age":{
			"type": "long",
			"index": false
		}
	}
}'

文档 操作 CRUD

methodurl作用
POSThttp://IP:9200/{索引名称}/{文档名称}创建文档（随机id）
POSThttp://IP:9200/{索引名称}/{文档名称}/{id}创建文档（指定id）
GEThttp://IP:9200/{索引名称}/{文档名称}/{id}查看文档
POSThttp://IP:9200/{索引名称}/{文档名称}/{id}更新文档=创建覆盖文档
POSThttp://IP:9200/{索引名称}/{文档名称}/{id}/_update更新字段
DELETEhttp://IP:9200/{索引名称}/{文档名称}/{id}删除文档
POSThttp://IP:9200/{索引名称}/_delete_by_query条件删除文档
  • 创建文档
curl -X POST 'IP:9200/shopping/phone' -d '
{
	"title":"小米手机",
	"category":"小米10",
	"price":3999.00
}'
# 服务器响应结果
{
	"_index"【索引】: "shopping",
	"_type"【 类型-文档 】: "phone",
	"_id"【唯一标识】: "Xhsa2ncBlvF_7lxyCE9G", #可以类比为 MySQL 中的主键，随机生成
	"_version"【版本】: 1,
	"result"【结果】: "created", #这里的 create 表示创建成功
	"_shards"【分片】: {
		"total"【分片 - 总数】: 2,
		"successful"【分片 - 成功】: 1,
		"failed"【分片 - 失败】: 0
	},
	"_seq_no": 0,
	"_primary_term": 1
}
  • 更新字段：单价改为4000
curl -X POST 'IP:9200/shopping/phone/Xhsa2ncBlvF_7lxyCE9G/_update' -d '
{
	"doc": {
		"price":4000.00
	}
}'
  • 删除指定id的文档
curl -X DELETE 'IP:9200/shopping/phone/{id}'
  • 条件删除文档：删除单价为4000的文档
curl -X POST 'IP:9200/shopping/phone/_delete_by_query' -d '
{
	"query":{
		"match":{
			"price":4000.00
		}
	}
}'

java api

RestClient+SearchSourceBuilder

endPoint
entity/queryStr
BoolQueryBuilder

ElasticSearch - DSL查询文档语法，以及深度分页问题、解决方案
CYK_byte的博客
09-26 3001
你在淘宝里买东西的时候，要通过一些信息进行筛选，比如 销量、信誉、价格升序... 这些词一般都是固定一个按钮，点击就会帮你做筛选.
ElasticSearch Query DSL原理与代码实例讲解
AI天才研究院
06-06 911
ElasticSearch Query DSL原理与代码实例讲解 1. 背景介绍 1.1 全文搜索引擎概述 在大数据时代,海量数据的检索和分析是一个巨大的挑战。传统的关系型数据库在处理大规模数据时性能较差,
ES 查询用法
lazyboy2的博客
06-04 2万+
通过ES查询表达式(Query DSL)，可以实现复杂的查询功能，ES查询表达式主要由JSON格式编写，可以灵活的组合各种查询语句。 还支持一次搜索多个索引 按前缀匹配索引名 查询结果格式 2.query子句 query子句主要用来编写类似SQL的Where语句，支持布尔查询（and/or）、IN、全文搜索、模糊匹配、范围查询（大于小于）。aggs子句，主要用来编写统计分析语句，类似SQL的group by语句sort子句，用来设置排序条件，类似SQL的order by语句ES查询的分页主要通过from和s
ES：基础查询语法（简单易懂）
qq_64680177的博客
05-06 2855
query子句：类似于mysql中的where语句，用于定义搜索条件，如等值查询、模糊查询、范围查询等（重点） aggs字句：用于对搜索结果进行各种统计和分组。类似于mysql中的group by。例如可以计算某一字段不同值各自出现的次数，或者根据某个字段的值进行分组。 sort子句：这个就非常显而易见了，是对查询出来的结果进行根据某一规则进行排序。 from和size：这两个是配合使用的，是用来分页的。from定义的是展示的第一条数据的处于结果集的位置（也就是下标），size表示此次展示多大的结果集。这个
Elasticsearch基础_4.ES搜索功能
最新发布
qq_43563660的博客
10-02 1343
ES查询语法学习记录
ES查询常用语法
jiayoudangdang的博客
01-02 1万+
ES查询常用语法 目录 1. ElasticSearch之查询返回结果各字段含义 2. match 查询 3. term查询 4. terms 查询 5. range 范围 6. 布尔查询 6.1 filter加快查询效率的原因 7. boosting query(提高查询) 8. dis_max(最佳匹配查询） 9. 分页 10. 聚合查询【内含实际的demo】
ES查询语法总结
马小胖测试历险记
05-20 3080
ES查询语法总结
ES查询语法介绍及举例
m0_54187478的博客
01-22 2128
Elasticsearch（ES）的查询语法非常强大且灵活，允许执行从简单到复杂的各种搜索操作。ES查询主要基于两种类型：Leaf Query Clauses（叶查询子句）和Compound Query Clauses（复合查询子句）。
（五）elasticsearch之查询（Query DSL）
qq_37891300的博客
08-23 798
elasticsearch之查询（Query DSL） 一、字段类查询 字段类查询主要包含以下2类： 全文匹配：针对text 类型的字段进行全文检索，会对查询语句先进行分词处理，如match、match_phrase等query类型 单词匹配：不会对查询语句进行分词处理，直接去匹配字段的倒排索引，如term、terms、range等query 类型 补：match、match_phase、te...
elasql:通用SQL到Elasticsearch DSL查询转换器
04-28
通用SQL到Elasticsearch DSL查询转换器。 专为设计 地位 实验性-加入我们，骇客入侵！ 安装 npm install elasql 用法 const convert = require('elasql').convert convert('SELECT id,name FROM shop WHERE shop_id...
elasticSearch学习入门-DSL查询
热门推荐
liushangzaibeijing的博客
01-11 4万+
本篇博文主要介绍了es的核心功能--搜索（DSL查询语句）主要是以各种丰富的查询语句来讲解，比如match条件查询、term-level范围查询、bool布尔查询、以及过滤查询，主要目的是让读者熟悉DSL相关语法 建议读者收藏 便于在以后使用过程中查阅
【ES知识】ES基础查询语法一览
qq_34263207的博客
11-17 5973
本篇文章主要带大家过一下ES的基础查询语法
ES语法查询
失散多年的测试博客
07-01 9801
ES库查询语法
Elasticsearch（es） 查询语句语法详解
cauchy8389的专栏
07-06 2万+
Elasticsearch（es） 查询语句语法详解
ES 查询语法
csdn问鼎
06-20 1182
文章目录数据类型说明样例对象1.精确查询2.模糊查找3.多词匹配4.多列匹配相同的值5.must should用法6.must_not用法7.范围查询排序8.去重9.group by count10.group by sum 数据类型说明 text keyword text存储的时候会分词，keyword不会 样例对象 @Document(indexName = "bu") public class Person { private @Id String id; @Fiel
es查询语法
catcher92的博客
12-09 423
1.selectstreamId,flowId, dataGeneratedTs,dataProcessTs,doneTs,feedbackTime,rddTs,sinkTs,swiftsTs fromwormhole_feedback_2_adx where flowId = 23704 anddataProcessTs >= "2020-12-08 11:00:00.000000+0800" anddataProcessTs <= "2020-12-08 12:00:00.00000...
Elasticsearch 查询语法
m0_54187478的博客
12-14 2406
ES 强大的查询语言是其核心功能之一，它提供了多种查询类型来满足各种复杂的搜索需求。在这篇博客中，我们将深入探讨 ES 的条件查询语法，并通过具体场景来展示其应用。Elasticsearch 的查询语言既强大又灵活，适用于从简单的文本搜索到复杂的数据分析应用。以上提供的示例仅为冰山一角，ES 的真正威力在于它可以根据具体需求进行高度定制的查询。例如，你可以查找介于特定日期之间的文档或价格在特定范围内的商品。希望本文能帮助你开始探索 Elasticsearch 的查询语言，并在你的项目中找到适合的应用场景。
elasticsearch 查询语法
07-29
回答: Elasticsearch 查询语法采用基于 RESTful 风格的接口封装成 JSON 格式的对象，称之为 Query DSL。查询语句可以分为全文查询、词项查询、复合查询、嵌套查询、位置查询和特殊查询等几种类型。其中，全文查询可以使用match查询来进行，如引用\[2\]所示的查询语句，它会匹配"title"字段中包含"elasticsearch"和"查询优化"的文档，并且使用"and"操作符表示两个词项都必须存在。而引用\[3\]中的查询语句使用"or"操作符表示两个词项中只要有一个存在即可匹配。这只是查询语法的一小部分，具体的查询语法还包括过滤器、排序、聚合等功能，可以根据具体需求进行灵活组合和调整。 #### 引用[.reference_title] - *1* *2* *3* [Elasticsearch（es） 查询语句语法详解](https://blog.csdn.net/cauchy8389/article/details/125646274)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值