ElasticSearch练习一：搜索语法学习（term，filter，bool，terms，range）

最新推荐文章于 2024-05-08 14:18:37 发布
最新推荐文章于 2024-05-08 14:18:37 发布
阅读量1.5k 收藏
点赞数
分类专栏： ELK 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yal_insist/article/details/122139372
版权

版本：elasticSearch7.6.1

借鉴：https://blog.csdn.net/weixin_41910694/article/details/109407919

1.原始数据

POST /forum/_doc/_bulk
{ "index": { "_id": 1 }}
{ "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" }
{ "index": { "_id": 2 }}
{ "articleID" : "KDKE-B-9947-#kL5", "userID" : 1, "hidden": false, "postDate": "2017-01-02" }
{ "index": { "_id": 3 }}
{ "articleID" : "JODL-X-1937-#pV7", "userID" : 2, "hidden": false, "postDate": "2017-01-01" }
{ "index": { "_id": 4 }}
{ "articleID" : "QQPX-R-3956-#aD8", "userID" : 2, "hidden": true, "postDate": "2017-01-02" }

# 删除索引
DELETE forum

2. term，filter使用

根据用户ID搜索帖子

GET /forum/_search
{
  "query": {
    "term": {
      "userID": "1"
    }
  }
}

指定查询出的结果所得的分数

GET /forum/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "term": {
          "userID": "1"
        }
      },
      "boost": 1.3
    }
  }
}
  1. query：搜索
  2. constant_score：常量分数，指定查询出的结果所得的分数
  3. filter：过滤
  4. term：对搜索文本不分词，直接拿去倒排索引中匹配，你输入的是什么，就去匹配倒排索引什么，相当于SQL中的单个where条件

3. bool组合多个filter条件来搜索数据

搜索发帖日期为2017-01-01，或者帖子ID为KDKE-B-9947-#kL5的帖子，同时要求帖子的ID绝对不为XHDK-A-1293-#fJ3

 这里有个小插曲，一开始我用【错误答案中的dsl】查出来的结果是错误的。结果是XHDK-A-1293-#fJ3、JODL-X-1937-#pV7，这两条都是2017-01-01的数据，看样子articleID的条件都没有生效。
 这个错误产生的原因是，ElasticSearch5.0以后，字符串类型有重大变更，移除了string类型，string字段被拆分成两种新的数据类型： text和keyword。如果不指定类型，ElasticSearch字符串的字段（如新增字段articleID）将默认被同时映射成text和keyword类型，会自动创建下面的动态映射(dynamic mappings)：

# articleID为text类型；articleID.keyword为keyword类型
{
    "articleID": {
        "type": "text",
        "fields": {
            "keyword": {
                "type": "keyword",
                "ignore_above": 256
            }
        }
    }
 
}

# 可以使用以下dsl看分词后的结果
GET /_analyze
{
  "text": ["KDKE-B-9947-#kL5"]
}

# 可以使用以下dsl看索引的结果
GET /forum/_mapping

 所以错误答案中的dsl的term+articleID，虽然对输入是不分词的，但是由于articleID是text类型，搜索结果被分词了，所以也就找不到了。
 正确答案1中使用match_phrase+articleID，是因为结果是被分词的，而且match_phrase是对输入也会分词的，并且结果要包含match_phrase分词后的所有短语+顺序一致，所以也能匹配上。
 正确答案2中使用term+articleID.keyword，是因为结果是keyword不分词，而且term对输入也部分此，所以也能匹配上。

错误答案：

GET /forum/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "term": {
            "articleID": {
              "value": "XHDK-A-1293-#fJ3"
            }
          }
        }
      ],
      "should": [
        {
          "term": {
            "postDate": {
              "value": "2017-01-01"
            }
          }
        },
        {
          "term": {
            "articleID":{
              "value": "KDKE-B-9947-#kL5"
            }
          }
        }
      ]
    }
  }
}

正确答案1：

GET /forum/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "match_phrase": {
            "articleID": "XHDK-A-1293-#fJ3"
          }
        }
      ],
      "should": [
        {
          "term": {
            "postDate": {
              "value": "2017-01-01"
            }
          }
        },
        {
          "match_phrase": {
            "articleID": "KDKE-B-9947-#kL5"
          }
        }
      ]
    }
  }
}
# 结果是KDKE-B-9947-#kL5、JODL-X-1937-#pV7

正确答案2：

GET /forum/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "term": {
            "articleID.keyword": {
              "value": "XHDK-A-1293-#fJ3"
            }
          }
        }
      ],
      "should": [
        {
          "term": {
            "postDate": {
              "value": "2017-01-01"
            }
          }
        },
        {
          "term": {
            "articleID.keyword":{
              "value": "KDKE-B-9947-#kL5"
            }
          }
        }
      ]
    }
  }
}
# 结果是KDKE-B-9947-#kL5、JODL-X-1937-#pV7
  1. bool：相当于SQL中的and，用于多值查询，一般紧跟query使用
  2. should：相当于SQL中的or，但是只能在bool中使用，不能紧跟query
  3. must_not：相当于SQL的**!=**，但是只能在bool中使用，不能紧跟query
  4. articleID.keyword：这是由于articleID里面有fields，fields字段可以让某一个字段具有更多的特性，具体要看fields字段对应的type
  5. match_phrase：match_phrase是分词后去搜的；目标文档需要包含分词后的所有词；目标文档中出现的这些词不需要保持跟这些词的相对顺序一致，取决于slop

4.terms使用

比如有2条记录：[A，B，C]、[B、C]
我输入A、C，查出来[A，B，C]、[B、C]，这叫随意包含。[A，B，C]和[B，C]都有包含A，C至少一个元素。
我输入A、B，查出来[A，B，C]，这叫完全包含。[A，B，C]包含A，C全部元素。
我输入B，C，查出来[B，C]，这叫仅包含。[B，C]包含B，C全部元素，并且[B, C]中只有B、C两个元素。

首先先更新下数据

POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"tag" : ["java", "js", "hadoop"]} }
{ "update": { "_id": "2"} }
{ "doc" : {"tag" : ["java", "js"]} }
{ "update": { "_id": "3"} }
{ "doc" : {"tag" : ["js", "hadoop"]} }
{ "update": { "_id": "4"} }
{ "doc" : {"tag" : ["elasticsearch"]} }

搜索articleID为KDKE-B-9947-#kL5或QQPX-R-3956-#aD8的帖子

# 方法一
GET /forum/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "articleID.keyword": {
              "value": "KDKE-B-9947-#kL5"
            }
          }
        },
        {
          "term": {
            "articleID.keyword": {
              "value": "QQPX-R-3956-#aD8"
            }
          }
        }
      ]
    }
  }
}

# 方法二
GET /forum/_search
{
  "query": {
    "terms": {
      "articleID.keyword": [
        "KDKE-B-9947-#kL5",
        "QQPX-R-3956-#aD8"
      ]
    }
  }
}

搜索tag中包含java的帖子

GET /forum/_search
{
  "query": {
    "term": {
      "tag": {
        "value": "java"
      }
    }
  }
}

搜索tag中包含java或js的帖子

GET /forum/_search
{
  "query": {
    "terms": {
      "tag": [
        "java",
        "js"
      ]
    }
  }
}

搜索tag中包含java和js的帖子

GET /forum/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "tag": {
              "value": "java"
            }
          }
        },
        {
          "term": {
            "tag": {
              "value": "js"
            }
          }
        }
      ]
    }
  }
}

搜索tag中仅包含java和js的帖子

# 目前只知道一种解决方案，就是在添加tag数组数据的时候，同时维护一个tag_count。
POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"tag" : ["java", "js", "hadoop"], "tag_count": 3} }
{ "update": { "_id": "2"} }
{ "doc" : {"tag" : ["java", "js"], "tag_count": 2} }
{ "update": { "_id": "3"} }
{ "doc" : {"tag" : ["js", "hadoop"], "tag_count": 2} }
{ "update": { "_id": "4"} }
{ "doc" : {"tag" : ["elasticsearch"], "tag_count": 1} }

# 然后在查询
GET /forum/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "tag": {
              "value": "java"
            }
          }
        },
        {
          "term": {
            "tag": {
              "value": "js"
            }
          }
        },
        {
          "term": {
            "tag_count": {
              "value": "2"
            }
          }
        }
      ]
    }
  }
}

疑问：

  • 数组有2种情况：item是简单类型，item是object。es对于数组是如何建立倒排索引，如何进行分词？
    es对于多值字段的处理
  • 我可以把es底层的倒排索引查出来吗？
  • 下面dsl中查的出来，说明tag中的倒排索引含有java。后面我用_mapping去看了tag字段是属于text类型，tag.keyword是keword类型，但是我用tag.keyword也可以查的出来，这是为什么呢？
  1. terms：下面代码相当于tag = ‘java’ or tag = ‘js’。因为文档[“js”, “hadoop”]会被分词成js、hadoop，只要能匹配上一个分词，文档就能匹配上。
"terms": {
  "tag": [
    "java",
    "js"
  ]
}

5.基于range filter来进行范围过滤

为帖子数据增加浏览量的字段

POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"view_count" : 30} }
{ "update": { "_id": "2"} }
{ "doc" : {"view_count" : 50} }
{ "update": { "_id": "3"} }
{ "doc" : {"view_count" : 100} }
{ "update": { "_id": "4"} }
{ "doc" : {"view_count" : 80} }

搜索浏览量在30~60之间的帖子（包含30和60）

GET /forum/_search
{
  "query": {
    "range": {
      "view_count": {
        "gte": 30,
        "lte": 60
      }
    }
  }
}

搜索发帖日期在最近10年的帖子

GET /forum/_search
{
  "query": {
    "range": {
      "postDate": {
        "gte": "now-10y"
      }
    }
  }
}
  1. range，相当于sql中的between，或者>=，<=，做范围过滤。但是如果要搜索的字段是日期类型，range的value可以某些动态计算。

6.match

为帖子数据增加标题字段

POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"title" : "this is java and elasticsearch blog"} }
{ "update": { "_id": "2"} }
{ "doc" : {"title" : "this is java blog"} }
{ "update": { "_id": "3"} }
{ "doc" : {"title" : "this is elasticsearch blog"} }
{ "update": { "_id": "4"} }
{ "doc" : {"title" : "this is elasticsearch, java, hadoop blog"} }
{ "update": { "_id": "5"} }
{ "doc" : {"title" : "this is spark blog"} }

搜索标题中包含java或elasticsearch的blog

GET /forum/_search
{
  "query": {
    "match": {
      "title": "java elasticsearch"
    }
  }
}

解析："title": "java elasticsearch"中会被分词为java和elasticsearch，所以才能命中倒排索引

搜索标题中包含java和elasticsearch的blog

# 方法一
GET /forum/_search
{
  "query": {
    "match": {
      "title": {
        "query": "java elasticsearch",
        "operator": "and"
      }
    }
  }
}

# 方法二
GET /forum/_search
{
  "query": {
    "match_phrase": {
      "title": {
        "query": "java elasticsearch",
        "slop": 1000
      }
    }
  }
}

搜索包含java，elasticsearch，spark，hadoop，4个关键字中，至少3个的blog

GET /forum/_search
{
  "query": {
    "match": {
      "title": {
        "query": "java elasticsearch spark hadoop",
        "minimum_should_match": "75%"
      }
    }
  }
}
  1. match可以通过and operator来控制检索关键字要全部命中
  2. match可以通过minimum_should_match来控制结果准确率（精确度）

7.should和must的关系

GET /forum/_search
{
  "query": {
    "bool": {
      "must": {
        "match": {
          "title": "java"
        }
      },
      "must_not": {
        "match": {
          "title": "spark"
        }
      },
      "should": [
        {
          "match": {
            "title": "hadoop"
          }
        },
        {
          "match": {
            "title": "elasticsearch"
          }
        }
      ]
    }
  }
}
  1. 当有should没有must的时候，should中的条件必须至少要满足一个；当有should也有must的时候，should中的条件可以一个也不满足也能命中。
    比如上面的搜索结果”this is java blog“，没有满足should的任何条件。
我叫985
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
elasticsearch中term与match的区别讲解
08-26
今天小编就为大家分享一篇关于elasticsearch中term与match的区别讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
elasticsearch-monitoring:使用Grafana仪表板监控Elasticsearch集群（通过Elasticsearch）
05-22
用Grafana进行Elasticsearch监控该存储库包含端到端全面监视Elasticsearch集群所需的一切。 基于在全球范围内调试和稳定许多Elasticsearch集群的经验，Elasticsearch Monitoring的制定和不断更新和改进。收集指标...
【ES笔记02】ElasticSearch数据库之查询操作（match、must、must_not、should、_source、filter、range、exists、ids、term、terms）
11-26 1万+
match关键字，相当于mysql数据库中的like查询，match查询的字段如果是text类型，那么text会被分词，match就会匹配分词，查询所有包含分词的doc文档，如果不是text类型的，那就是精确查询。当查询条件有很多个的时候，如果将所有的查询条件都放在请求路径上面，显然不合适，所以ES可以将查询条件放到请求体里面，请求体里面的查询条件需要按照指定的格式，不然ES会解析报错。ids查询，这就相当于mysql数据库中的【in】条件查询，多个条件值查询，但是这里的只能够对。
elasticsearch7常见查询（term、match、bool、filter、match）
星空的风fly
10-29 2万+
一、精准查询term term是代表完全匹配，即不进行分词器分析，文档中必须包含整个搜索的词汇 1、term单值 字段只有一个值时候，用term关键词查询 查询biz_id值为1909190023901225的记录 curl -XGET http://192.168.1.73:9200/xyerp/order/_search -H 'Content-Type: application/...
elasticsearch语法学习测试数据accounts.json
最新发布
qq_60275529的博客
05-08 318
elasticsearch语法学习测试数据accounts.json。
es 搜索中同时包含 “query“ 和 “filter“ 子句
lxw1844912514的博客
04-17 2124
Elasticsearch支持很多查询方式，其中一种就是DSL，它是把请求写在JSON里面，然后进行相关的查询。
ES基本查询，filter 查询，组合查询
热门推荐
yib0y的博客
11-29 3万+
Elasticsearch 是功能强大的全文搜索引擎，用它的目的就是为了能快速的查询你想好要的数据 基本查询：利用Elasticsearch内置查询条件进行查询 组合查询：把多个基本查询组合在一起的复合性查询 过滤：查询的同时，通过filter条件 在不影响打分的情况下筛选出想要的数据 基本查询： 1.term,terms查询 2.from,size 3.返回版本号_version 4.match...
重学Elasticsearch第5章 : 过滤查询、聚合查询
Guizy
08-09 1993
filter, Elasticsearch 过滤查询, 聚合查询
elastic-stack:以简单的方式学习 Elasticsearch、Logstash、Kibana 和 Beats
05-31
1. **Elasticsearch**：Elasticsearch是核心组件，是一个分布式、RESTful风格的搜索和数据分析引擎，能够快速处理海量结构化和非结构化的数据。其节点和集群的概念是理解Elasticsearch的基础。节点是Elasticsearch...
elasticsearch_exporter：Prometheus的Elasticsearch统计信息导出器
02-03
Elasticsearch导出器 Prometheus导出程序，用于以Go语言编写的有关ElasticSearch的各种指标。 安装 对于预构建的二进制文件，请查看发行版。 码头工人 docker pull justwatch/elasticsearch_exporter:1.1.0 docker...
es-mode：一种用于与Elasticsearch进行交互的Emacs主要模式
02-04
Emacs的Elasticsearch模式提供用于编辑ES查询示例的主要模式。 比sh-mode或js-mode更好的突出显示和缩进。 它旨在将这三种模式混合在一起，并模仿Kibana开发工具控制台中的一些突出显示。 您也可以将其视为针对Emacs...
ElasticSearch-基础属性使用
无
07-21 678
---------------------------------------------在案例中实战使用term filter来搜索数据-------------------------------------------------- 1、根据用户ID、是否隐藏、帖子ID、发帖日期来搜索帖子 （1）插入一些测试帖子数据 插入一些测试数据 POST /forum/article/_bulk...
Elasticsearch：Elasticsearch 查询示例 - 动手练习（一）
Elastic 中国社区官方博客
01-30 4558
在我之前的文章文章： Elasticsearch：有用的 Elasticsearch 查询示例 开始使用 Elasticsearch （2） 我列举了很多关于 Elasticsearch 查询的例子。抱着多多益善的想法，在今天的文章中，我给大家带来更多的例子给大家练习。希望大家对 Elasticsearch 有更多的认识。 Elasticsearch 提供了一组强大的选项来查询各种用例的文档，因此了解将哪个查询应用于特定案例很有用。 以下是一个动手教程，可帮助你利用 Elasticse
ElasticSearch综合练习题
qq_41794285的博客
07-04 3687
一、雇员表查询 1.添加以下三条信息到Elasticsearch，index为megacorp,type为employee，id分别为1，2，3 { “first_name” : “John”, “last_name” : “Smith”, “age” : 25, “about” : “I love to go rock climbing”, “interests”: [...
elasticsearch7常见查询（term、match、bool、filter）
PacosonSWJTU的博客
06-14 1330
一、精准查询term term是代表完全匹配，即不进行分词器分析，文档中必须包含整个搜索的词汇 1、term单值 字段只有一个值时候，用term关键词查询 查询biz_id值为1909190023901225的记录 curl -XGET http://192.168.1.73:9200/xyerp/order/_search -H 'Content-Type: application/json' -d ' { "query": { "term": { "biz_id": "1...
es 练习
weixin_43929085的博客
06-02 134
【代码】es 练习。
es的复杂多条件查询（一）——match、term、bool
gangye19970101的博客
03-11 2万+
match系列操作 1.match查询 (1)使用get请求的方式 URL只能使用英文字母、阿拉伯数字和某些标点符号，不能使用其他文字和符号。(详情解释参考https://www.cnblogs.com/xiaojiulin/p/10598658.html) 因此我将张三字符串先url编码(使用utf8)得到%e5%bc%a0%e4%b8%89，然后结合curl发起get请求 curl -XGET "http://192.168.236.131:9200/trade_info/csrcb/_se
ElasticSearch实战之Filter Query过滤查询(六)
小陈之JAVA
04-12 4936
Filter Query(过滤查询) 1.1 过滤查询 其实准确来说，ES中的查询操作分为2种: 查询(query)和过滤(filter)。查询即是之前提到的query查询，它 (查询)默认会计算每个返回文档的得分，然后根据得分排序。而过滤(filter)只会筛选出符合的文档，并不计算 得分，且它可以缓存文档 。所以，单从性能考虑，过滤比查询更快。 换句话说，过滤适合在大范围筛选数据，而查询则适...
【Elasticsearch】 09-DSL语法详解-精确检索term、terms 、range
程序员小屋
08-18 2007
在 Elasticsearch 中，term、terms 和 range 查询是非常常用的查询语法。它们分别适用于精确匹配、多值精确匹配和范围查询的场景。通过熟练掌握它们的语法和参数，能够更灵活地进行数据查询和分析，提升数据处理的效率。
ElasticSearch分享ppt40页+.pptx
10-28
ElasticSearch分享ppt40页+.pptx 适用于java学习者 作为技术分享也可

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫985

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值