002-ElasticSearch-Query DSL

已于 2023-06-26 22:40:02 修改
阅读量145 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch java 大数据
于 2023-06-25 23:43:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yin10484039/article/details/131387025
版权

目录

Query DSL

术语

倒排索引

对内容进行分词，切分成不同的term
term和对应的文档列表通过id建立关系
在这里插入图片描述
倒排索引项(Posting)：

  • 文档ID
  • 词频TF–该单词在文档中出现的次数，用于相关性评分
  • 位置(Position)-单词在文档中分词的位置。用于短语搜索（match phrase query)
  • 偏移(Offset)-记录单词的开始结束位置，实现高亮显示

默认JSON文档内一个字段都会设置倒排索引，如果不用查询的字段可以指定不索引

索引映射 mapping

动态映射

动态的根据字段内容推断映射成json类型
在这里插入图片描述

静态映射

手动指定字段类型

新增字段

根据配置有不同场景
dynamic：true 自动映射、自动索引
dynamic：false 不会自动映射、不会创建索引、会存储到内容中
dynamic: strict 写入失败，只会限制当前层级，不会限制子层级

修改映射

不支持修改映射类型
只能重建索引

  1. 设置一个新的索引
  2. 执行重建索引
POST _reindex
{
    "source":{
        "index":"原索引"
    },
    "dest":{
        "index":"新索引"
    }
}
  1. 删除原索引
  2. 新索引设置别名 指向原索引

禁止索引

{
    "mappings":{
        "properties":{
	        "field1":{
		        "index":false
		    }
	    }
    }
}

查询禁止索引字段会直接返回异常信息

查询null值

正常情况下null值是不能查到的所以需要指定需要查询

PUT /user
{
  "mappings" : {
      "properties" : {
        "address" : {
          "type" : "keyword",
          "null_value": "NULL"
        },
        "age" : {
          "type" : "long"
        },
        "name" : {
          "type" : "text"
        }
      }
    }
}

## 查询
GET /user/_search
{
  "query": {
    "match": {
      "address": "NULL"
    }
  }
}

索引模板 Index Template

Dynamic Template
Dynamic Tempate定义在某个索引的Mapping中。

PUT my_index/_doc/1
{
  "firstName":"Ruan",
  "isVIP":"true"
}

动态映射会把isVIP映射为text格式
如果想把这类 is开头内容为 "true"的映射为boolean类型
则可以使用Dynamic Template

PUT my_index
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_boolean": {
          "match_mapping_type":   "string",
          "match":"is*",
          "mapping": {
            "type": "boolean"
          }
        }
      },
      {
        "strings_as_keywords": {
          "match_mapping_type":   "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

Query DSL

批量查询

#等同于
GET /es_db/_search
{
"query":{
"match_all":{}
},
"size": 100
}

默认不能超过10000条，否则报错

分页查询

GET /es_db/_search
{
  "query": {
    "match_all": {}
  },
  "size": 5,
  "from": 0
}

这种分页是在内存中分页，大数据量有性能问题
所以一般使用游标分页

#查询命令中新增scroll=1m,说明采用游标查询，保持游标查询窗口一分钟。
#这里由于测试数据量不够，所以size值设置为2。
#实际使用中为了减少游标查询的次数，可以将值适当增大，比如设置为1000。
GET /es_db/_search?scroll=1m 
{
    "query": { "match_all": {}},
    "size":  100
}

这个查询会返回一个游标和100条数据
下次查询带上游标即可

#scroll_id 的值就是上一个请求中返回的 _scroll_id 的值
GET /_search/scroll
{
    "scroll": "1m", 
    "scroll_id" : "FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFmNwcVdjblRxUzVhZXlicG9HeU02bWcAAAAAAABmzRY2YlV3Z0o5VVNTdWJobkE5Z3MtXzJB"
}

排序

GET /es_db/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "age": "desc"
    }
  ]
}

只返回指定字段

#_source 关键字: 是一个数组,在数组中用来指定展示那些字段
GET /es_db/_search
{
  "query": {
    "match_all": {}
  },
  "_source": ["name","address"]
}

分词后匹配 match

match 先对查询数据分词然后按分词结果查找

match支持以下参数

  1. query : 指定匹配的值
  2. operator : 匹配条件类型
    and : 条件分词后都要匹配
    or : 条件分词后有一个匹配即可(默认)
  3. minmum_should_match : 最低匹配度，即条件在倒排索引中最低的匹配度
#分词后 and的效果
GET /es_db/_search
{
  "query": {
    "match": {
      "address": {
        "query": "广州白云山公园",
        "operator": "AND"
      }
    }
  }
}
#最少匹配广州，公园两个词
GET /es_db/_search
{
  "query": {
    "match": {
      "address": {
        "query": "广州公园",
        "minimum_should_match": 2
      }
    }
  }
}

短语查询match_phrase

match_phrase 会将搜索内容分词。
查询结果必须在被检索字段的分词中都包含，而且顺序必须相同，而且默认必须都是连续的

GET /es_db/_search
{
  "query": {
    "match_phrase": {
      "address": "广州白云山"
    }
  }
}

#分词为 广州 白云山  
#只能查出来 广州白云山 
#不能出来 广州白云

#如果需求确定固定间隔、则可以配置
#广州云山分词后相隔为2，可以匹配到结果
GET /es_db/_search
{
  "query": {
    "match_phrase": {
      "address": {
        "query": "广州云山",
        "slop": 2
      } 
    }
  }
}

多字段查询multi_match

#如果字段类型分词则分词后查询
#如果字段类型不分词则整体查询
GET /es_db/_search
{
  "query": {
    "multi_match": {
      "query": "测试字典",
      "fields": [
        "title",
        "content"
      ]
    }
  }
}

query_string

可以指定多个关键字查询
并且可以指定关键词之间的关系（AND | OR | NOT）
并且默认在所有字段中查询

GET /es_db/_search
{
  "query": {
    "query_string": {
      "query": "张三 OR 橘子洲"
    }
  }
}
#指定单个字段查询
GET /es_db/_search
{
  "query": {
    "query_string": {
      "default_field": "address",
      "query": "白云山 OR 橘子洲"
    }
  }
}
#指定多个字段查询
GET /es_db/_search
{
  "query": {
    "query_string": {
      "fields": ["name","address"],
      "query": "张三 OR (广州 AND 王五)"
    }
  }
}

关键词查询Term

Term查询不分词是精确查找、只是对查询字段不分词
在ES的Mapping Type 中 keyword , date ,integer, long , double , boolean or ip 这些类型不分词，只有text类型分词。

#采用term精确查询, 查询字段映射类型为keyword
GET /es_db/_search
{
  "query":{
    "term": {
      "address.keyword": {
        "value": "广州白云山公园"
      }
    }
  }
}
#如果对一个英文单词分词后会转化为小写，那么有些时候就不能查询出来
#可以手动设置忽略大小写
# 对于英文，可以考虑建立索引时忽略大小写
PUT /product
{
  "settings": {
    "analysis": {
      "normalizer": {
        "es_normalizer": {
          "filter": [
            "lowercase",
            "asciifolding"
          ],
          "type": "custom"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "productId": {
        "type": "text"
      },
      "productName": {
        "type": "keyword",
        "normalizer": "es_normalizer",
        "index": "true"
      }
    }
  }
}
#既然精确查找了就不需要算分了可以提交性能
GET /es_db/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "term": {
          "address.keyword": "广州白云山公园"
        }
      }
    }
  }
}
#term处理多值字段，term查询是包含，不是等于
POST /employee/_bulk
{"index":{"_id":1}}
{"name":"小明","interest":["跑步","篮球"]}
{"index":{"_id":2}}
{"name":"小红","interest":["跳舞","画画"]}
{"index":{"_id":3}}
{"name":"小丽","interest":["跳舞","唱歌","跑步"]}

POST /employee/_search
{
  "query": {
    "term": {
      "interest.keyword": {
        "value": "跑步"
      }
    }
  }
}

精确搜索

应用场景：对bool，日期，数字，结构化的文本可以利用term做精确匹配

GET /es_db/_search
{
  "query": {
    "term": {
      "age": {
        "value": 28
      }
    }
  }
}

前缀所有

#和数据库查询不同 es前缀查询并没有优化多少性能
GET /es_db/_search
{
  "query": {
    "prefix": {
      "address": {
        "value": "广州"
      }
    }
  }
}

通配符查询wildcard

#模糊查询
GET /es_db/_search
{
  "query": {
    "wildcard": {
      "address": {
        "value": "*白*"
      }
    }
  }
}

日期range

GET /product/_search
{
  "query": {
    "range": {
      "date": {
        "gte": "now-2y"
      }
    }
  }
}

模糊查询fuzzy

#可以输错一个字
#最大只允许输错2个字在搜索词长度大于5的时候
GET /es_db/_search
{
  "query": {
    "match": {
      "address": {
        "query": "广洲",
        "fuzziness": 1
      }
    }
  }
}

高亮

GET /products/_search
{
  "query": {
    "term": {
      "name": {
        "value": "牛仔"
      }
    }
  },
  "highlight": {
    "fields": {
      "*":{}
    }
  }
}
#自定义高亮html标签
#可以在highlight中使用pre_tags和post_tags
GET /products/_search
{
  "query": {
    "term": {
      "name": {
        "value": "牛仔"
      }
    }
  },
  "highlight": {
    "post_tags": ["</span>"], 
    "pre_tags": ["<span style='color:red'>"],
    "fields": {
      "*":{}
    }
  }
}
#多字段高亮
GET /products/_search
{
  "query": {
    "term": {
      "name": {
        "value": "牛仔"
      }
    }
  },
  "highlight": {
    "pre_tags": ["<font color='red'>"],
    "post_tags": ["<font/>"],
    "require_field_match": "false",
    "fields": {
      "name": {},
      "desc": {}
    }
  }
}
SunriseYin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【es的dsl查询2】
zhuziwan的博客
09-14 968
dsl查询2
Elasticsearch查询（4）-模糊匹配和正则表达式
热门推荐
chy2z的专栏
04-27 2万+
数据集合： 模糊查询前缀开始字符j GET /mydb/_search { "query": { "prefix": { "name": "j" } } } 模糊查询 ?用来匹配1个任意字符，*用来匹配零个或者多个字符 GET /mydb/_search { "query": { "wildcard": { "postcode&quot
ElasticSearch 高级查询语法
星空下的博客
06-27 1346
ElasticSearch 高级查询语法Query DSL
ElasticSearch语法整理-DSL语言高级查询
m0_60162373的博客
03-29 4473
Domain Specific Language 领域专用语言 DSL由叶子查询子句和复合查询子句两种子句组成。 无查询条件 无查询条件是查询所有，默认是查询所有的索引库的数据，或者使用match_all表示所有 GET /es_db/_doc/_search { "query":{ "match_all":{} } } 有查询条件 查询命令GET POST 都可以 1、叶子条件查询(单字段查询条件) 1.1 模糊匹配 match : 通过match关
3.elasticsearch文档查询dsl
PacosonSWJTU的博客
10-07 800
1）bool 用来做复合查询；bool复合查询可以合并任何其他查询语句，包括复合语句；复合语句之间可以相互嵌套，可以表达非常复杂的逻辑；2）bool 复合查询可以包含的查询子句① must（计算文档分数）② must_not（不计算文档分数）③ should（计算文档分数）④ filter（不计算文档分数）
ES-模糊查询
蓝天⊙白云的博客
03-20 5776
概念：以xx开头的搜索，不计算相关度评分。
Elasticsearch叶子查询与模糊查询（五）
抽象的螺旋
05-03 1717
概述 Elasticsearch检索接口_search可通过URI参数q或请求体参数query接收DSL描述的查询条件，其中参数q接收DSL中定义的查询字符串，而query参数则可以接收所有DSL查询条件。按照官方的说法，DSL可以分为叶子查询（Leaf Query Clauses）和组合查询（Compound Query Clauses）两种类型。叶子查询是在指定的字段中匹配查询条件，例如检索名称为tom的文档、年龄在10~20岁之间的文档等等。叶子查询大致上可分为基于词项的查询和基于全文的查询两大类，除
2.ELK之Elasticsearch常用DSL语句(kibana语句)
mijichui2153的博客
06-23 1万+
Filter DSL term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)： { “term”: { “age”: 26 }} { “term”: { “date”: “2014-09-01” }} { “term”: { “public”: true }} { “term”: { “tag”: “full_text” }} 完整的例子， hostname 字段完全匹配成 xxx 的数据： { "query"
ElasticSearch DSL使用详细介绍
jast
02-22 1958
针对上面的搜索，我稍微做一下解释：对于上面的 IPv4 的 IP 地址含有4个 bytes，而每个 byte 含有8个 digits。multi_match 说明：https://www.elastic.co/guide/cn/elasticsearch/guide/current/multi-match-query.html。数据存在则将num字段值加1，数据不存在则添加upsert下的字段。数据必须存在，如果之前不存在则会报错，报错内容如下。的数据，如果id为3的数据不存在，则使用。
springboot整合Elasticsearch复杂查询
weixin_45865428的博客
02-18 984
参考京东查询商品界面来实现！ 1、导入依赖 <properties> <!--修改默认版本号，默认为6版本--> <elasticsearch.version>7.12.1</elasticsearch.version> </properties> <dependency> <groupId>org.elasticsearch.client</groupId> <artifa
Es查询（模糊，精确，多条件《模糊精确多条件查询》），修改，编辑，删除
boboxu
09-12 7745
----------------------------------------------配置文件jar----------------------------------------------------------- <!-- ES --> <dependency> <groupId>org.elasticsearch.client&lt...
elasticsearch dsl 常用过滤和查询语句
weixin_34121304的博客
04-09 868
2019独角兽企业重金招聘Python工程师标准>>> ...
使用jpa和QueryDSL按‘日期’进行‘模糊查询’的两种方式
生命不息，奋斗不止
06-10 5659
使用QueryDSL按日期查询，如果是一般的按日期完全匹配查询，直接使用jpa的.eq()方法进行查询即可。 不过有时候在实际的业务需求中，可能需要按照日期的年，或者月，或者天查询，但是数据库里存入的是一个完整的日期，此时我们便用到了日期的模糊查询，日期的模糊查询的原理是将日期转换为相同格式的字符串数据，然后使用jpa的.like()方法进行查询，这里我总结了两种按日期模糊查询的方式。 框架：...
12 搜索之DSL--基础查询
wyaoyao93的博客
01-02 1074
文章目录1 DSL介绍查询和过滤的区别2 叶查询子句2.1 match 查询查询所有（match_all) 1 DSL介绍 Elasticsearch提供了基于JSON的完整查询DSL（Domain Specific Language）来定义查询。 将查询DSL视为查询的AST（抽象语法树），它由两种子句组成： 叶子查询子句（Leaf query clauses） 在特定字段中查找特定值， 例如match，term或range查询 复合查询子句（Compound query clauses） 以逻
ElasticSearch DSL python
小鲸鱼的天空
09-05 2878
SDL常用组合查询 注意： 1、多条件查询should、must_not、must的使用必须使用bool来进行组合，这三种类型可以相互嵌套，但是里层的嵌套必须使用bool来进行组合嵌套，不可以直接嵌套。 2、should、must_not、must如果不嵌套时，属于平级关系，任何一个满足条件即可。 3、should、must_not、must中任何一个被嵌套在里层的时候，里面再不能包含qu...
Elasticsearch——Query DSL
bigbigtree
11-26 1万+
概述 查询context与过滤context 查询上下文 过滤上下文 示例 Match All Query Match All Query Match None Query 全文检索 Full text queries Match Query匹配查询 match Fuzziness zero terms query cutoff frequency match phrase Match Phrase
如何在关联过滤中使用模糊匹配查询
RQlyc的博客
11-29 1444
 填报表的下拉数据集提供了关联过滤的功能，可以动态的根据某个单元格的值过滤下拉列表中的内容，一般大家都是用等号做完全匹配。具体可参考http://192.168.0.6:80/reportmis/RBP-11819文章。 其实，通过一些小技巧，就可以做到模糊匹配。 在实现功能之前，需要了解的一点是，因为这个关联过滤是在网页中完成的，所以它一定是一个javascript表达式。 尽管我们
Mysql查询与Elasticsearch的DSL查询语句对照
暴走的皮皮虾博客
03-04 1088
Mysql查询与Elasticsearch的DSL查询语句对照 作为新入门的后端开发人员，一般对Mysql，SqlServer这类的关系型数据库或多或少都有了解。当入门Elasticsearch时，发现其DSL语句与关系型数据库的查询完全不一样，不再是那熟悉的语法，顿感门槛有点高。为了方便熟悉关系型数据库查询的同学，更加容易，快捷的理解并掌握DSL基础语法，本文将进行Mysql与DSL语句进行类比。 一、Mysql数据库与Elasticsearch的类比 关系型数据库（比如Mysql） 非关系型数据
ElasticSearch(4) Kibana客户端 DSL查询与过滤
郑清
01-06 9225
什么是dsl？？ 由ES提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现 组成 --> dsl=dsl查询+dsl过滤 dsl过滤简单理解为就是精确查询,而dsl查询是模糊查询(like).由于查询需要做相关度...
python elasticsearch-dsl查询优化
最新发布
06-09
针对 Elasticsearch DSL 查询的优化，可以从以下几个方面考虑： 1. 使用合适的查询类型：Elasticsearch DSL 提供了多种查询类型，如 term、match、range、bool 等，不同类型的查询适用于不同的场景。选择合适的查询...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值