ElasticSearch练习一：搜索语法学习（term，filter，bool，terms，range）

最新推荐文章于 2024-06-21 13:53:54 发布
最新推荐文章于 2024-06-21 13:53:54 发布
阅读量1.6k 收藏
点赞数
分类专栏： ELK 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yal_insist/article/details/122139372
版权

版本：elasticSearch7.6.1

借鉴：https://blog.csdn.net/weixin_41910694/article/details/109407919

1.原始数据

POST /forum/_doc/_bulk
{ "index": { "_id": 1 }}
{ "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" }
{ "index": { "_id": 2 }}
{ "articleID" : "KDKE-B-9947-#kL5", "userID" : 1, "hidden": false, "postDate": "2017-01-02" }
{ "index": { "_id": 3 }}
{ "articleID" : "JODL-X-1937-#pV7", "userID" : 2, "hidden": false, "postDate": "2017-01-01" }
{ "index": { "_id": 4 }}
{ "articleID" : "QQPX-R-3956-#aD8", "userID" : 2, "hidden": true, "postDate": "2017-01-02" }

# 删除索引
DELETE forum

2. term，filter使用

根据用户ID搜索帖子

GET /forum/_search
{
  "query": {
    "term": {
      "userID": "1"
    }
  }
}

指定查询出的结果所得的分数

GET /forum/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "term": {
          "userID": "1"
        }
      },
      "boost": 1.3
    }
  }
}
  1. query：搜索
  2. constant_score：常量分数，指定查询出的结果所得的分数
  3. filter：过滤
  4. term：对搜索文本不分词，直接拿去倒排索引中匹配，你输入的是什么，就去匹配倒排索引什么，相当于SQL中的单个where条件

3. bool组合多个filter条件来搜索数据

搜索发帖日期为2017-01-01，或者帖子ID为KDKE-B-9947-#kL5的帖子，同时要求帖子的ID绝对不为XHDK-A-1293-#fJ3

 这里有个小插曲，一开始我用【错误答案中的dsl】查出来的结果是错误的。结果是XHDK-A-1293-#fJ3、JODL-X-1937-#pV7，这两条都是2017-01-01的数据，看样子articleID的条件都没有生效。
 这个错误产生的原因是，ElasticSearch5.0以后，字符串类型有重大变更，移除了string类型，string字段被拆分成两种新的数据类型： text和keyword。如果不指定类型，ElasticSearch字符串的字段（如新增字段articleID）将默认被同时映射成text和keyword类型，会自动创建下面的动态映射(dynamic mappings)：

# articleID为text类型；articleID.keyword为keyword类型
{
    "articleID": {
        "type": "text",
        "fields": {
            "keyword": {
                "type": "keyword",
                "ignore_above": 256
            }
        }
    }
 
}

# 可以使用以下dsl看分词后的结果
GET /_analyze
{
  "text": ["KDKE-B-9947-#kL5"]
}

# 可以使用以下dsl看索引的结果
GET /forum/_mapping

 所以错误答案中的dsl的term+articleID，虽然对输入是不分词的，但是由于articleID是text类型，搜索结果被分词了，所以也就找不到了。
 正确答案1中使用match_phrase+articleID，是因为结果是被分词的，而且match_phrase是对输入也会分词的，并且结果要包含match_phrase分词后的所有短语+顺序一致，所以也能匹配上。
 正确答案2中使用term+articleID.keyword，是因为结果是keyword不分词，而且term对输入也部分此，所以也能匹配上。

错误答案：

GET /forum/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "term": {
            "articleID": {
              "value": "XHDK-A-1293-#fJ3"
            }
          }
        }
      ],
      "should": [
        {
          "term": {
            "postDate": {
              "value": "2017-01-01"
            }
          }
        },
        {
          "term": {
            "articleID":{
              "value": "KDKE-B-9947-#kL5"
            }
          }
        }
      ]
    }
  }
}

正确答案1：

GET /forum/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "match_phrase": {
            "articleID": "XHDK-A-1293-#fJ3"
          }
        }
      ],
      "should": [
        {
          "term": {
            "postDate": {
              "value": "2017-01-01"
            }
          }
        },
        {
          "match_phrase": {
            "articleID": "KDKE-B-9947-#kL5"
          }
        }
      ]
    }
  }
}
# 结果是KDKE-B-9947-#kL5、JODL-X-1937-#pV7

正确答案2：

GET /forum/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "term": {
            "articleID.keyword": {
              "value": "XHDK-A-1293-#fJ3"
            }
          }
        }
      ],
      "should": [
        {
          "term": {
            "postDate": {
              "value": "2017-01-01"
            }
          }
        },
        {
          "term": {
            "articleID.keyword":{
              "value": "KDKE-B-9947-#kL5"
            }
          }
        }
      ]
    }
  }
}
# 结果是KDKE-B-9947-#kL5、JODL-X-1937-#pV7
  1. bool：相当于SQL中的and，用于多值查询，一般紧跟query使用
  2. should：相当于SQL中的or，但是只能在bool中使用，不能紧跟query
  3. must_not：相当于SQL的**!=**，但是只能在bool中使用，不能紧跟query
  4. articleID.keyword：这是由于articleID里面有fields，fields字段可以让某一个字段具有更多的特性，具体要看fields字段对应的type
  5. match_phrase：match_phrase是分词后去搜的；目标文档需要包含分词后的所有词；目标文档中出现的这些词不需要保持跟这些词的相对顺序一致，取决于slop

4.terms使用

比如有2条记录：[A，B，C]、[B、C]
我输入A、C，查出来[A，B，C]、[B、C]，这叫随意包含。[A，B，C]和[B，C]都有包含A，C至少一个元素。
我输入A、B，查出来[A，B，C]，这叫完全包含。[A，B，C]包含A，C全部元素。
我输入B，C，查出来[B，C]，这叫仅包含。[B，C]包含B，C全部元素，并且[B, C]中只有B、C两个元素。

首先先更新下数据

POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"tag" : ["java", "js", "hadoop"]} }
{ "update": { "_id": "2"} }
{ "doc" : {"tag" : ["java", "js"]} }
{ "update": { "_id": "3"} }
{ "doc" : {"tag" : ["js", "hadoop"]} }
{ "update": { "_id": "4"} }
{ "doc" : {"tag" : ["elasticsearch"]} }

搜索articleID为KDKE-B-9947-#kL5或QQPX-R-3956-#aD8的帖子

# 方法一
GET /forum/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "term": {
            "articleID.keyword": {
              "value": "KDKE-B-9947-#kL5"
            }
          }
        },
        {
          "term": {
            "articleID.keyword": {
              "value": "QQPX-R-3956-#aD8"
            }
          }
        }
      ]
    }
  }
}

# 方法二
GET /forum/_search
{
  "query": {
    "terms": {
      "articleID.keyword": [
        "KDKE-B-9947-#kL5",
        "QQPX-R-3956-#aD8"
      ]
    }
  }
}

搜索tag中包含java的帖子

GET /forum/_search
{
  "query": {
    "term": {
      "tag": {
        "value": "java"
      }
    }
  }
}

搜索tag中包含java或js的帖子

GET /forum/_search
{
  "query": {
    "terms": {
      "tag": [
        "java",
        "js"
      ]
    }
  }
}

搜索tag中包含java和js的帖子

GET /forum/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "tag": {
              "value": "java"
            }
          }
        },
        {
          "term": {
            "tag": {
              "value": "js"
            }
          }
        }
      ]
    }
  }
}

搜索tag中仅包含java和js的帖子

# 目前只知道一种解决方案，就是在添加tag数组数据的时候，同时维护一个tag_count。
POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"tag" : ["java", "js", "hadoop"], "tag_count": 3} }
{ "update": { "_id": "2"} }
{ "doc" : {"tag" : ["java", "js"], "tag_count": 2} }
{ "update": { "_id": "3"} }
{ "doc" : {"tag" : ["js", "hadoop"], "tag_count": 2} }
{ "update": { "_id": "4"} }
{ "doc" : {"tag" : ["elasticsearch"], "tag_count": 1} }

# 然后在查询
GET /forum/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "tag": {
              "value": "java"
            }
          }
        },
        {
          "term": {
            "tag": {
              "value": "js"
            }
          }
        },
        {
          "term": {
            "tag_count": {
              "value": "2"
            }
          }
        }
      ]
    }
  }
}

疑问：

  • 数组有2种情况：item是简单类型，item是object。es对于数组是如何建立倒排索引，如何进行分词？
    es对于多值字段的处理
  • 我可以把es底层的倒排索引查出来吗？
  • 下面dsl中查的出来，说明tag中的倒排索引含有java。后面我用_mapping去看了tag字段是属于text类型，tag.keyword是keword类型，但是我用tag.keyword也可以查的出来，这是为什么呢？
  1. terms：下面代码相当于tag = ‘java’ or tag = ‘js’。因为文档[“js”, “hadoop”]会被分词成js、hadoop，只要能匹配上一个分词，文档就能匹配上。
"terms": {
  "tag": [
    "java",
    "js"
  ]
}

5.基于range filter来进行范围过滤

为帖子数据增加浏览量的字段

POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"view_count" : 30} }
{ "update": { "_id": "2"} }
{ "doc" : {"view_count" : 50} }
{ "update": { "_id": "3"} }
{ "doc" : {"view_count" : 100} }
{ "update": { "_id": "4"} }
{ "doc" : {"view_count" : 80} }

搜索浏览量在30~60之间的帖子（包含30和60）

GET /forum/_search
{
  "query": {
    "range": {
      "view_count": {
        "gte": 30,
        "lte": 60
      }
    }
  }
}

搜索发帖日期在最近10年的帖子

GET /forum/_search
{
  "query": {
    "range": {
      "postDate": {
        "gte": "now-10y"
      }
    }
  }
}
  1. range，相当于sql中的between，或者>=，<=，做范围过滤。但是如果要搜索的字段是日期类型，range的value可以某些动态计算。

6.match

为帖子数据增加标题字段

POST /forum/_doc/_bulk
{ "update": { "_id": "1"} }
{ "doc" : {"title" : "this is java and elasticsearch blog"} }
{ "update": { "_id": "2"} }
{ "doc" : {"title" : "this is java blog"} }
{ "update": { "_id": "3"} }
{ "doc" : {"title" : "this is elasticsearch blog"} }
{ "update": { "_id": "4"} }
{ "doc" : {"title" : "this is elasticsearch, java, hadoop blog"} }
{ "update": { "_id": "5"} }
{ "doc" : {"title" : "this is spark blog"} }

搜索标题中包含java或elasticsearch的blog

GET /forum/_search
{
  "query": {
    "match": {
      "title": "java elasticsearch"
    }
  }
}

解析："title": "java elasticsearch"中会被分词为java和elasticsearch，所以才能命中倒排索引

搜索标题中包含java和elasticsearch的blog

# 方法一
GET /forum/_search
{
  "query": {
    "match": {
      "title": {
        "query": "java elasticsearch",
        "operator": "and"
      }
    }
  }
}

# 方法二
GET /forum/_search
{
  "query": {
    "match_phrase": {
      "title": {
        "query": "java elasticsearch",
        "slop": 1000
      }
    }
  }
}

搜索包含java，elasticsearch，spark，hadoop，4个关键字中，至少3个的blog

GET /forum/_search
{
  "query": {
    "match": {
      "title": {
        "query": "java elasticsearch spark hadoop",
        "minimum_should_match": "75%"
      }
    }
  }
}
  1. match可以通过and operator来控制检索关键字要全部命中
  2. match可以通过minimum_should_match来控制结果准确率（精确度）

7.should和must的关系

GET /forum/_search
{
  "query": {
    "bool": {
      "must": {
        "match": {
          "title": "java"
        }
      },
      "must_not": {
        "match": {
          "title": "spark"
        }
      },
      "should": [
        {
          "match": {
            "title": "hadoop"
          }
        },
        {
          "match": {
            "title": "elasticsearch"
          }
        }
      ]
    }
  }
}
  1. 当有should没有must的时候，should中的条件必须至少要满足一个；当有should也有must的时候，should中的条件可以一个也不满足也能命中。
    比如上面的搜索结果”this is java blog“，没有满足should的任何条件。
我叫985
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
es查询大文本效率_es中terms查询速度能否优化
weixin_39977276的博客
12-20 1337
es表结构如下：PUT demo/{"mappings": {"demo": {"_all": {"enabled": false},"properties": {"aId": {"type": "keyword"},"cId": {"type": "keyword"}}}}}插入：按照如上单独aId和cId存储为一个doc查询：每次传入一个aId和1000个cId的列表，返回es中匹配的aId+...
Elasticsearch常用语句
Tony_zt的博客
01-06 2241
ES查询常用语句
ElasticSearch-基础属性使用
无
07-21 684
---------------------------------------------在案例中实战使用term filter来搜索数据-------------------------------------------------- 1、根据用户ID、是否隐藏、帖子ID、发帖日期来搜索帖子 （1）插入一些测试帖子数据 插入一些测试数据 POST /forum/article/_bulk...
ElasticSearch综合练习题
qq_41794285的博客
07-04 3718
一、雇员表查询 1.添加以下三条信息到Elasticsearch，index为megacorp,type为employee，id分别为1，2，3 { “first_name” : “John”, “last_name” : “Smith”, “age” : 25, “about” : “I love to go rock climbing”, “interests”: [...
Elasticsearch中的Term_Filter过滤器技术
最新发布
屿小夏.的知识博客
06-21 4万+
Term Filter作为Elasticsearch中的一项强大功能，为精确匹配和快速过滤文档提供了高效手段。通过深入了解其工作原理、探索多样化的使用场景并遵循最佳实践建议，我们可以充分利用Term Filter来优化搜索应用并提升用户体验。
Elasticsearch DSL中Query与Filter的不同
weixin_34148340的博客
11-18 213
Elasticsearch支持很多查询方式，其中一种就是DSL，它是把请求写在JSON里面，然后进行相关的查询。 举个DSL例子 GET _search { "query": { "bool": { "must": [ { "match": { "title": "Search" }},
elasticsearch中term与match的区别讲解
08-26
在Elasticsearch中，Term查询和Match查询是两种常见的全文检索方式，它们在处理搜索条件时有着明显的区别。 Term查询（Term Query）是Elasticsearch中的精确匹配查询。当你使用Term查询时，它会查找完全匹配指定...
elasticsearch-monitoring:使用Grafana仪表板监控Elasticsearch集群（通过Elasticsearch）
05-22
用Grafana进行Elasticsearch监控该存储库包含端到端全面监视Elasticsearch集群所需的一切。 基于在全球范围内调试和稳定许多Elasticsearch集群的经验，Elasticsearch Monitoring的制定和不断更新和改进。收集指标...
elasticsearch5基于term+bool实现的multiword
01-10
Elasticsearch会自动将其内部转换为一个`bool`查询结构，其中`should`子句包含两个`term`查询，分别对应每个搜索词： ```json { "bool": { "should": [ { "term": { "title": "java" } }, { "term": { "title": ...
elastic-stack:以简单的方式学习 Elasticsearch、Logstash、Kibana 和 Beats
05-31
1. **Elasticsearch**：Elasticsearch是核心组件，是一个分布式、RESTful风格的搜索和数据分析引擎，能够快速处理海量结构化和非结构化的数据。其节点和集群的概念是理解Elasticsearch的基础。节点是Elasticsearch...
elasticsearch_exporter：Prometheus的Elasticsearch统计信息导出器
02-03
Elasticsearch导出器 Prometheus导出程序，用于以Go语言编写的有关ElasticSearch的各种指标。 安装 对于预构建的二进制文件，请查看发行版。 码头工人 docker pull justwatch/elasticsearch_exporter:1.1.0 docker...
【ELK】(二)-Elasticsearch关键概念理解与ES命令练习
l6xy6的博客
01-30 696
与之对应的，在 ES 中，Mapping 定义索引下的 Type 的字段处理规则，即索引如何建立、索引类型、是否保存原始索引 JSON 文档、是否压缩原始 JSON 文档、是否需要分词处理、如何进行分词处理等。其中的修改指定条件的更新 update 等价于 ES 中的 update_by_query，指定条件的删除等价于 ES 中的 delete_by_query。：类似Mysql中的select * from table；MySQL 中的数据库（DataBase），等价于 ES 中的索引（Index）。
3.es 在案例中实战基于bool组合多个filter条件搜索以及terms搜索多个值以及多值搜索结果优化
lm324114的专栏
12-14 2686
准备数据： POST /forum/article/_bulk { "index": { "_id": 1 }} { "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" } { "index": { "_id": 2 }} { "articleID" : "KDKE-...
69道Elasticsearch高频题整理(附答案背诵版)
Angela_L的博客
05-15 425
Elasticsearch是一个基于Lucene的搜索服务器，它提供了一个分布式、多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。它用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。
Elasticsearch结构化查询与过滤查询
静幽水
09-11 990
上一篇：Elasticsearch分页和映射 Elasticsearch结构化查询与过滤查询1、term查询2、terms查询3、range查询4、exists查询5、match查询6、bool查询7、过滤查询 1、term查询 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed的字符串(未经分析的文本数据类型)： { "term": { "age": ...
elasticsearch：基础练习
不花的花和尚的博客
10-02 2307
首先搭建好elasticsearch集群，我这里搭建3台，伪分布式。 新建一个名为es1的索引库： curl -XPUT http://192.168.1.28:9200/es1/ 则出现以下： lunce   5个主片： 其他几个是从片，主从绝对不会在一个节点上，比如1和1  2和2  主从都不在一个节点。    建“表”： #document： curl -XPOST ...
ElasticSearch搜索语法学习（term，filter，bool，terms，range）
努力努力再努力L
11-02 3528
ES搜索语法学习 目录 原始数据 term，filter使用 bool组合多个filter条件来搜索数据 terms搜索多个值以及多值搜索结果优化 基于range filter来进行范围过滤 手动控制全文检索结果的精准度 dis_max实现best fields策略进行多字段搜索 1. term，filter使用 0. 原始数据（目录1~2使用） POST /forum/article/_bulk { "index": { "_id": 1 }} { "articleID" : "XHDK-A-1
es使用term+filter查询（对type为text的查询注意点）
weixin_30562507的博客
06-21 1032
插入测试数据 PUT /forum/article/_bulk { "index": { "_id": 1 }} { "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017-01-01" } { "index": { "_id": 2 }} { "articleID" : "...
Elasticsearch10基础总结练习题
zhang_yuanbai的博客
09-21 539
1.Elasticsearch是什么？跟mysql的区别 Elasticsearch是什么 Elasticsearch是一个分布式、高性能、高可用、可伸缩的搜索和分析系统。 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的 全文搜索引 擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为 Apache许可条款下的开 放源码发布，是当前流行的企业级搜索引擎。设计用于云计算 中，能够达到实时搜索，稳定，可靠， 快速，安装使用方便。
Elasticsearch基础教程：快速掌握ES语法与索引概念
"这篇资源是针对初学者的Elasticsearch (ES) 语法基础入门教程，涵盖了ES的安装、基本特性和DSL语法，同时也讲解了Kibana的使用。此外，教程还深入介绍了搜索引擎和倒排索引的概念，旨在帮助初学者快速掌握搜索引擎...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫985

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值