Elasticsearch查询

最新推荐文章于 2022-05-28 22:27:14 发布
最新推荐文章于 2022-05-28 22:27:14 发布
阅读量192 收藏
点赞数
分类专栏： 【NoSql】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JinXYan/article/details/92716456
版权

1.基本查询

基本语法

GET /索引库名/_search
{
    "query":{
        "查询类型":{
            "查询条件":"查询条件值"
        }
    }
}

这里的query代表一个查询对象，里面可以有不同的查询属性

  • 查询类型：

    • 例如：match_all， match，term ， range 等等

  • 查询条件：查询条件会根据类型的不同，写法也有差异，后面详细讲解

查询所有（match_all)

GET /heima/_search
{
    "query":{
        "match_all": {}
    }
}
  • query：代表查询对象
  • match_all：代表查询所有

匹配查询（match）

  • or关系

match类型查询，会把查询条件进行分词，然后进行查询,多个词条之间是or的关系

GET /heima/_search
{
    "query":{
        "match":{
            "title":"小米电视"
        }
    }
}

结果：

"hits": {
    "total": 2,
    "max_score": 0.6931472,
    "hits": [
        {
            "_index": "heima",
            "_type": "goods",
            "_id": "tmUBomQB_mwm6wH_EC1-",
            "_score": 0.6931472,
            "_source": {
                "title": "小米手机",
                "images": "http://image.leyou.com/12479122.jpg",
                "price": 2699
            }
        },
        {
            "_index": "heima",
            "_type": "goods",
            "_id": "3",
            "_score": 0.5753642,
            "_source": {
                "title": "小米电视4A",
                "images": "http://image.leyou.com/12479122.jpg",
                "price": 3899
            }
        }
    ]
}

在上面的案例中，不仅会查询到电视，而且与小米相关的都会查询到，多个词之间是or的关系。

  • and关系

某些情况下，我们需要更精确查找，我们希望这个关系变成and，可以这样做：

GET /heima/_search
{
    "query":{
        "match": {
          "title": {
            "query": "小米电视",
            "operator": "and"
          }
        }
    }
}

结果：

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.5753642,
    "hits": [
      {
        "_index": "heima",
        "_type": "goods",
        "_id": "3",
        "_score": 0.5753642,
        "_source": {
          "title": "小米电视4A",
          "images": "http://image.leyou.com/12479122.jpg",
          "price": 3899
        }
      }
    ]
  }
}

本例中，只有同时包含小米和电视的词条才会被搜索到。

  • or和and之间？

在 or 与 and 间二选一有点过于非黑即白。 如果用户给定的条件分词后有 5 个查询词项，想查找只包含其中 4 个词的文档，该如何处理？将 operator 操作符参数设置成 and 只会将此文档排除。

有时候这正是我们期望的，但在全文搜索的大多数应用场景下，我们既想包含那些可能相关的文档，同时又排除那些不太相关的。换句话说，我们想要处于中间某种结果。

match 查询支持 minimum_should_match 最小匹配参数， 这让我们可以指定必须匹配的词项数用来表示一个文档是否相关。我们可以将其设置为某个具体数字，更常用的做法是将其设置为一个百分数，因为我们无法控制用户搜索时输入的单词数量：

GET /heima/_search
{
    "query":{
        "match":{
            "title":{
            	"query":"小米曲面电视",
            	"minimum_should_match": "75%"
            }
        }
    }
}

多字段查询（multi_match）

multi_match与match类似，不同的是它可以在多个字段中查询

GET /heima/_search
{
    "query":{
        "multi_match": {
            "query":    "小米",
            "fields":   [ "title", "subTitle" ]
        }
	}
}

本例中，我们会在title字段和subtitle字段中查询小米这个词

词条匹配(term)

term 查询被用于精确值 匹配，这些精确值可能是数字、时间、布尔或者那些未分词的字符串

GET /heima/_search
{
    "query":{
        "term":{
            "price":2699.00
        }
    }
}

结果：

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "heima",
        "_type": "goods",
        "_id": "r9c1KGMBIhaxtY5rlRKv",
        "_score": 1,
        "_source": {
          "title": "小米手机",
          "images": "http://image.leyou.com/12479122.jpg",
          "price": 2699
        }
      }
    ]
  }
}

多词条精确匹配(terms)

terms 查询和 term 查询一样，但它允许你指定多值进行匹配。如果这个字段包含了指定值中的任何一个值，那么这个文档满足条件：

GET /heima/_search
{
    "query":{
        "terms":{
            "price":[2699.00,2899.00,3899.00]
        }
    }
}

2.结果过滤

       默认情况下，elasticsearch在搜索的结果中，会把文档中保存在_search的所有字段都返回。如果我们只想获取其中的部分字段，我们可以添加_source的过滤

直接指定字段

GET /heima/_search
{
  "_source": ["title","price"],
  "query": {
    "term": {
      "price": 2699
    }
  }
}

返回的结果：

{
  "took": 12,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 1,
    "hits": [
      {
        "_index": "heima",
        "_type": "goods",
        "_id": "r9c1KGMBIhaxtY5rlRKv",
        "_score": 1,
        "_source": {
          "price": 2699,
          "title": "小米手机"
        }
      }
    ]
  }
}

指定includes和excludes

我们也可以通过：

  • includes：来指定想要显示的字段
  • excludes：来指定不想要显示的字段

二者都是可选的。

GET /heima/_search
{
  "_source": {
    "includes":["title","price"]
  },
  "query": {
    "term": {
      "price": 2699
    }
  }
}
GET /heima/_search
{
  "_source": {
     "excludes": ["images"]
  },
  "query": {
    "term": {
      "price": 2699
    }
  }
}

3.高级查询

布尔组合（bool)

bool把各种其它查询通过must（与）、must_not（非）、should（或）的方式进行组合

GET /heima/_search
{
    "query":{
        "bool":{
        	"must":     { "match": { "title": "大米" }},
        	"must_not": { "match": { "title":  "电视" }},
        	"should":   { "match": { "title": "手机" }}
        }
    }
}

结果：

{
  "took": 10,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.5753642,
    "hits": [
      {
        "_index": "heima",
        "_type": "goods",
        "_id": "2",
        "_score": 0.5753642,
        "_source": {
          "title": "大米手机",
          "images": "http://image.leyou.com/12479122.jpg",
          "price": 2899
        }
      }
    ]
  }
}

范围查询(range)

range 查询找出那些落在指定区间内的数字或者时间

GET /heima/_search
{
    "query":{
        "range": {
            "price": {
                "gte":  1000.0,
                "lt":   2800.00
            }
    	}
    }
}

range查询允许以下字符：

操作符说明
gt大于
gte大于等于
lt小于
lte小于等于

模糊查询(fuzzy)

fuzzy 查询是 term 查询的模糊等价。它允许用户搜索词条与实际词条的拼写出现偏差，但是偏差的编辑距离不得超过2：

GET /heima/_search
{
  "query": {
    "fuzzy": {
      "title": "appla"
    }
  }
}

过滤(filter)

        所有的查询都会影响到文档的评分及排名。如果我们需要在查询结果中进行过滤，并且不希望过滤条件影响评分，那么就不要把过滤条件作为查询条件来用。而是使用filter方式：

GET /heima/_search
{
    "query":{
        "bool":{
        	"must":{ "match": { "title": "小米手机" }},
        	"filter":{
                "range":{"price":{"gt":2000.00,"lt":3800.00}}
        	}
        }
    }
}

注意：filter中还可以再次进行bool组合条件过滤。

排序

sort 可以让我们按照不同的字段进行排序，并且通过order指定排序的方式

GET /heima/_search
{
  "query": {
    "match": {
      "title": "小米手机"
    }
  },
  "sort": [
    {
      "price": {
        "order": "desc"
      }
    }
  ]
}

4、聚合aggregations（类似于分组，聚合函数）

聚合可以让我们极其方便的实现对数据的统计、分析。例如：

  • 什么品牌的手机最受欢迎？
  • 这些手机的平均价格、最高价格、最低价格？
  • 这些手机每月的销售情况如何？

实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现实时搜索效果。

Elasticsearch中的聚合，包含多种类型，最常用的两种，一个叫桶，一个叫度量：

桶（bucket）

        桶的作用，是按照某种方式对数据进行分组，每一组数据在ES中称为一个桶，例如我们根据国籍对人划分，可以得到中国桶、英国桶，日本桶……或者我们按照年龄段对人进行划分：0~10,10~20,20~30,30~40等。

Elasticsearch中提供的划分桶的方式有很多：

  • Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组
  • Histogram Aggregation：根据数值阶梯分组，与日期类似
  • Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组
  • Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组
  • ……

       综上所述，我们发现bucket aggregations 只负责对数据进行分组，并不进行计算，因此往往bucket中往往会嵌套另一种聚合：metrics aggregations即度量

度量（metrics）

        分组完成以后，我们一般会对组中的数据进行聚合运算，例如求平均值、最大、最小、求和等，这些在ES中称为度量

比较常用的一些度量聚合方式：

  • Avg Aggregation：求平均值
  • Max Aggregation：求最大值
  • Min Aggregation：求最小值
  • Percentiles Aggregation：求百分比
  • Stats Aggregation：同时返回avg、max、min、sum、count等
  • Sum Aggregation：求和
  • Top hits Aggregation：求前几
  • Value Count Aggregation：求总数

我们按照 汽车的颜色color来划分桶

GET /cars/_search
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            }
        }
    }
}
  • size： 查询条数，这里设置为0，因为我们不关心搜索到的数据，只关心聚合结果，提高效率
  • aggs：声明这是一个聚合查询，是aggregations的缩写
  • popular_colors：给这次聚合起一个名字，任意。
  • terms：划分桶的方式，这里是根据词条划分
  • field：划分桶的字段

结果： 

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "popular_colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4
        },
        {
          "key": "blue",
          "doc_count": 2
        },
        {
          "key": "green",
          "doc_count": 2
        }
      ]
    }
  }
}

我们为刚刚的聚合结果添加 求价格平均值的度量：

GET /cars/_search
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            },
            "aggs":{
                "avg_price": { 
                   "avg": {
                      "field": "price" 
                   }
                }
            }
        }
    }
}

  • aggs：我们在上一个aggs(popular_colors)中添加新的aggs。可见度量也是一个聚合,度量是在桶内的聚合

  • avg_price：聚合的名称

  • avg：度量的类型，这里是求平均值

  • field：度量运算的字段

结果： 

...
  "aggregations": {
    "popular_colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4,
          "avg_price": {
            "value": 32500
          }
        },
        {
          "key": "blue",
          "doc_count": 2,
          "avg_price": {
            "value": 20000
          }
        },
        {
          "key": "green",
          "doc_count": 2,
          "avg_price": {
            "value": 21000
          }
        }
      ]
    }
  }

可以看到每个桶中都有自己的avg_price字段，这是度量聚合的结果

 

天青色的烟雨.
关注
专栏目录
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
37-Elasticsearch索引库操作
11-18 587
2.索引库操作 索引库就类似数据库表，mapping映射就类似表的结构。 我们要向es中存储数据，必须先创建“库”和“表”。 2.1.mapping映射属性 mapping是对索引库中文档的约束，常见的mapping属性包括： type：字段数据类型，常见的简单类型有： 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址） 数值：long、integer、short、byte、double、float、 布尔：boolean 日期：date
Elasticsearch 学习笔记 高级查询
陈杰
10-16 402
以下查询 POST 127.0.0.1:9200/book/_search 1、多条件查询 { "query":{ "multi_match":{ "query":"chenjie", "fields":["auther","title"] } } } 结果： { "took": 11, "timed_out": false, "_
ElasticSearch结果集过大处理方案-关于from、size错误的思考
chunguang8256的博客
05-28 1359
一、问题描述 在一次使用查询中，知道结果集很大，使用了from、size的方案进行轮训查询，结果在from + size > 10000时报错： get tid once, from:0, size:100 get tid once, from:100, size:100 get tid once, from:200, size:100 get tid once, from:300, size:100 ...... get tid o...
es搜索bool和range的联合使用
fz13768884254的博客
01-08 1万+
当需要根据某个完全匹配字段和某个范围条件对es存储数据进行过滤了，我拼接了一个json串，运行时一直显示错误： {"size":1000,"sort":{"create_time":{"order":"desc"}},"query":{"bool" : { "must" : { "
Elasticsearch(二) 使用
怪咖的博客
03-04 193
2.操作索引 2.1.基本概念 Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。 对比关系： 索引（indices）--------------------------------Databases 数据库 ​ 类型（type）-----------------------------Table 数据表 ​ 文档（Document...
ES查询客户端，elasticsearch可视化工具
最新发布
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
ElasticSearch查询语句
10-10
### ElasticSearch 查询语句详解 #### 一、概述 ElasticSearch 是一款基于 Lucene 的分布式搜索和分析引擎，适用于全文检索、结构化检索及分析等场景。它提供了丰富的 API 接口，允许用户通过简单的 RESTful 方式...
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
JAVA使用ElasticSearch查询in和not in的实现方式
08-26
JAVA使用ElasticSearch查询in和not in的实现方式 Elasticsearch是一个基于Lucene的搜索服务器，提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。它是用Java开发的，并作为Apache许可条款下的开放...
ES 查询关键字(match, term, range,terms)、组合多查询(must, should, must_not,filter)、分页、排序sort、高亮highlight
热门推荐
加州暖阳的博客
06-10 1万+
一、常用查询关键字 1. match 查询 match查询会将搜索词分词，再与目标查询字段进行匹配，若分词中的任意一个词与目标字段匹配上，则可查询到。 { "match": { "name": "南山" }} QueryBuilders.matchQuery("name", "南山") #java代码 2.match_phrase 默认使用 match_phrase 时会精确匹配查询的短语，需要全部单词和顺序要完全一样，标点符号除外。 {"qu
ElasticSearch中查询后只显示10个结果的问题
yuntianyun的博客
03-11 7905
在kibana里的查询语句 GET /movie_2021-03-11/_search 得到的结果是： { "took" : 2, "timed_out" : false, "_shards" : { "total" : 3, "successful" : 3, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : 50, "max_score" : 1.0, "hits" : [
ES-Elasticsearch数据库查询
qq_28771987的博客
03-26 1975
ES增删改查 一：结构操作 1.查询对应索引的表结构 GET biz_commission_book 2.创建表 复制代码 PUT cfg_send_sku { “settings”: { “number_of_shards”: 5, “number_of_replicas”: 1 }, "mappings": { "cfg_send_sku" : { "properties" : { "obdCode" : {
ElasticSearch搜索-响应结果说明
zc0565的博客
03-19 1319
响应结果说明 示例： GET http://localhost:9200/superz/_search 得到的响应结果一般如下所示： { "took": 2, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "h...
ehcache和redis实现二级缓存
JinXYan的博客
05-24 1187
二级缓存的作用 简要说明：ehcache是内存缓存，在本地jvm内存中，十分高效，但是如果缓存数据都存在jvm中，内存是不够用的，于是使用到了redis数据库缓存，redis是键值对数据库，也比较高效，如果仅用redis做缓存，则存在频繁的网络IO读写，因为一般的会将redis部署在一个单独的服务器上，或者是集群部署。所以我们结合两者的特性，优先使用ehcache缓存，当ehcac...
如何控制缓存更新
JinXYan的博客
08-11 818
背景 计算机为了在性能上有一个倍数式的增长，引入了缓存设计，同时也间接引入了并发问题。抛开让人闻风丧胆的并发问题，缓存的引入，本质的问题是磁盘虽然硬件成本低，但是性能低效，而缓存则相反，成本高，但是性能极好，所以在二者权衡之下，选择折中的方案，两者相结合得最大性价比。系统架构同样也面临着性能问题，响应问题。 缓存带来的作用：由于redis的容量一般都只有...
Redis常用命令（Hash、Zset）
JinXYan的博客
03-21 719
Hash常用命令 对于 hash 类型，key-value 的模式不变，只不过 key 对应的 value 是一个 map。key-value不可以重复，如果重复则覆盖。 用于对象赋值。相当于Java中的HashMap。 hset user id 1 向 user（map） 中添加 key-value 对（id，1） hget user id...
Redis常用命令（Key、String）
JinXYan的博客
03-21 647
Redis 中返回1就是成功，0、-1、nul则为失败 常用命令 select 0~15 用于在 0 ~ 15 号库之间进行切换 dbsize 查看当前数据库的 key 的数量 flushdb 用于清空当前库...
Redis常用命令（List、Set）
JinXYan的博客
03-21 641
List常用命令 list 类似一个双端队列，即可以从左边 push 和 pop，也可以从右边 push 和 pop，底层其实是一个双端链表。 可以实现分布式消息队列 -- lpush/rpush/rpop/lpop。 lpush list01 1 2 3 4 5 key 为 list01，value 为 1，2，3，4，5，从左向右push（从左边加入） rpus...
Elastic Search查询与统计实战
“Elastic Search学习笔记包含了关于Elasticsearch（ES）的查询、排序和统计操作的示例。” 在Elasticsearch（ES）的学习中，掌握如何进行有效的查询、排序和统计是至关重要的。以下是对这些核心功能的详细解释： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值