【elasticsearch】es操作-DSL查询

小艾影

已于 2022-02-13 01:51:46 修改

阅读量1k

点赞数

分类专栏：笔记文章标签： java spring spring boot

于 2021-10-05 17:32:04 首次发布

本文链接：https://blog.csdn.net/qq_41617261/article/details/120616111

版权

笔记专栏收录该内容

15 篇文章 0 订阅

订阅专栏

参考：

dsl查询：https://blog.csdn.net/weixin_45921762/article/details/107933085

聚合查询：

基础操作

区分es版本：以下版本=6.5.4
区分是否带类型
- 5.x 及以前版本，一个 index 有一个或者多个 type
- 6.x 版本，一个 index 只有一个 type
- 7.x 版本移除了 type，type 相关的所有内容全部变成 Deprecated，为了兼容升级和过渡，所有的 7.x 版本 es 数据写入后 type 字段都默认被置为 “_doc”

增

创建索引，指定类型映射

// POST/PUT /[索引名]/[类型]
// 如下：PUT /myindex  异常可改为 /myindex/emps/  /myindix/_doc等等
PUT /myindex
{
  "mappings":{
    "properties":{
      "name":{
        "type":"text"
      },
      "age":{
        "type":"integer"
      },
      "bir":{
        "type":"date"
      },
      "content":{
        "type":"text"
      },
      "address":{
        "type":"keyword"
      }
    }
  }
}

直接添加单条数据【不做字段映射，默认根据插入数据指定】

// [索引]/_doc/[_id]
POST myindex/_doc/7
{
    "name": "xiaoai",
    "age": 32,
    "bir": "2012-1-12",
    "content": "test content",
    "address": "北京"
}

批量添加数据

PUT /myindex/_bulk
{"index":{}}
{"name":"小黑","age":23,"bir":"2012-12-12","content":"为开发团队选择一款优秀的MVC框架是件难事儿，在众多可行的方案中决择需要很高的经验和水平","address":"北京"}
{"index":{}}
{"name":"王小黑","age":24,"bir":"2012-12-12","content":"Spring 框架是一个分层架构，由 7 个定义良好的模块组成。Spring 模块构建在核心容器之上，核心容器定义了创建、配置和管理 bean 的方式","address":"上海"}
{"index":{}}
{"name":"张小五","age":8,"bir":"2012-12-12","content":"Spring Cloud 作为Java 语言的微服务框架，它依赖于Spring Boot，有快速开发、持续交付和容易部署等特点。Spring Cloud 的组件非常多，涉及微服务的方方面面，井在开源社区Spring 和Netflix 、Pivotal 两大公司的推动下越来越完善","address":"无锡"}
{"index":{}}
{"name":"win7","age":9,"bir":"2012-12-12","content":"Spring的目标是致力于全方位的简化Java开发。 这势必引出更多的解释， Spring是如何简化Java开发的？","address":"南京"}
{"index":{}}
{"name":"梅超风","age":43,"bir":"2012-12-12","content":"Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API","address":"杭州"}
{"index":{}}
{"name":"张无忌","age":59,"bir":"2012-12-12","content":"ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口","address":"北京"}

改

直接覆盖

POST myindex/_doc/7
{
    "name": "xiaoai5",
    "age": 19,
    "bir": "2001-1-12",
    "content": "test conten5",
    "address": "gx"
}

// 其余字段会置空
POST myindex/_doc/7
{
    "name": "xiaoai5"
}

更改

// 其余字段不会被修改
POST myindex/_doc/7/_update
{
  "doc": {
      "age": 43,
      "address": "广东"
  }
}

删

// 删除数据
// DELET [索引]/_doc/[_id]
DELETE myindex/_doc/6

// 删除索引
DELETE myindex/

注意

如果自定义有id字段，区分自定【id】和默认【_id】
_doc即默认类型，如果有自定义类型，操作可把【_doc】换为对应类型

DSL查询

通过使用term查询得知ES中默认使用分词器为标准分词器(StandardAnalyzer),标准分词器对于英文单词分词,对于中文单字分词。

通过使用term查询得知,在ES的Mapping Type 中 keyword , date ,integer, long , double , boolean or ip 这些类型不分词，只有text类型分词。

ES中的查询操作分为2种。

查询(query)：默认会计算每个返回文档的得分，然后根据得分排序
过滤(filter)：只会筛选出符合的文档，并不计算得分，且它可以缓存文档。所以，单从性能考虑，过滤比查询更快。

换句话说，过滤适合在大范围筛选数据，而查询则适合精确匹配数据。一般应用时，应先使用过滤操作过滤数据，然后使用查询匹配数据。

使用语法
- URL查询: GET /索引/_search?参数
- DSL查询: POST /索引/_search {}

数据

1.删除索引
DELETE /ems

2.创建索引并指定类型
PUT /ems
{
  "mappings":{
    "properties":{
      "name":{
        "type":"text"
      },
      "age":{
        "type":"integer"
      },
      "bir":{
        "type":"date"
      },
      "content":{
        "type":"text"
      },
      "address":{
        "type":"keyword"
      }
    }
  }
}

3.插入测试数据
PUT /ems/_bulk
  {"index":{}}
  {"name":"小黑","age":23,"bir":"2012-12-12","content":"为开发团队选择一款优秀的MVC框架是件难事儿，在众多可行的方案中决择需要很高的经验和水平","address":"北京"}
  {"index":{}}
  {"name":"王小黑","age":24,"bir":"2012-12-12","content":"Spring 框架是一个分层架构，由 7 个定义良好的模块组成。Spring 模块构建在核心容器之上，核心容器定义了创建、配置和管理 bean 的方式","address":"上海"}
  {"index":{}}
  {"name":"张小五","age":8,"bir":"2012-12-12","content":"Spring Cloud 作为Java 语言的微服务框架，它依赖于Spring Boot，有快速开发、持续交付和容易部署等特点。Spring Cloud 的组件非常多，涉及微服务的方方面面，井在开源社区Spring 和Netflix 、Pivotal 两大公司的推动下越来越完善","address":"无锡"}
  {"index":{}}
  {"name":"win7","age":9,"bir":"2012-12-12","content":"Spring的目标是致力于全方位的简化Java开发。 这势必引出更多的解释， Spring是如何简化Java开发的？","address":"南京"}
  {"index":{}}
  {"name":"梅超风","age":43,"bir":"2012-12-12","content":"Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API","address":"杭州"}
  {"index":{}}
  {"name":"张无忌","age":59,"bir":"2012-12-12","content":"ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口","address":"北京"}

查询

query ：查询

match_all: 返回索引中的全部文档

GET /ems/_search
{
 	"query": { 
        "match_all": {}
 	}
}

match：条件匹配

GET /ems/_search
{
  "query": {
    "match": {
      "content": {
        "query": "redis api java key",
        "minimum_should_match": "50%" #50%命中率，即命中两个词就返回
      }
    }
  }
}

multi_match : 多字段检索

GET /ems/_search
{
  "query": {
    "multi_match": {
      "query": "中国",
      "operator": "and",
      "fields": ["name","content"] #这里写要检索的指定字段
    }
  } 
}

term: 用来使用关键词查询
range: 用来指定查询指定范围内的文档

符号标识代表含义
gte 大于或等于
gt 大于
lte 小于或等于
lt 小于

符号标识	代表含义
gte	大于或等于
gt	大于
lte	小于或等于
lt	小于

prefix: 用来检索含有指定前缀的关键词的相关文档

GET /ems/_search
{
  "query": {
    "prefix": {
      "content": {
        "value": "redis"
      }
    }
  }
}

wildcard: 通配符查询
- ? 用来匹配一个任意字符
- * 用来匹配多个任意字符

regexp：正则搜索

GET /ems/_search
{
  "query": {
    "regexp": {
      "content": "red[a-z].+"
    }
  }
}

ids : 值为数组类型,用来根据一组id获取多个对应的文档

fuzzy: 用来模糊查询含有指定关键字的文档

GET /ems/_search
{
  "query": {
    "fuzzy": {
      "content":"spring"
    }
  }
}

fuzzy 模糊查询  最大模糊错误 必须在0-2之间
# 搜索关键词长度为 2 不允许存在模糊 0
# 搜索关键词长度为3-5 允许一次模糊 0 1 
# 搜索关键词长度大于5 允许最大2模糊

bool: 用来组合多个条件实现复杂查询
- must: 相当于&& 同时成立
- should: 相当于|| 成立一个就行。有一个特殊性，如果组合查询中没有 must 条件，那么 should 中必须至少匹配一个。可以通过 minimum_should_match 来限制它匹配更多个。
- must_not: 相当于! 不能满足任何一个

size: 指定查询结果中返回指定条数。默认返回值10条
from：用来指定起始返回位置，和size关键字连用可实现分页效果
_source: 是一个数组,在数组中用来指定展示那些字段

GET /ems/_search
{
  "query": {
    "term": {
      "address": {
        "value": "北京"
      }
    }
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ],
  "size": 5, 
  "from": 1,
  "_source":["name","age","address"]
}

highlight: 可以让符合条件的文档中的关键词高亮。自定义高亮html标签:
- pre_tags：高亮前缀
- post_tags：高亮后缀
- require_field_match：开启多个字段高亮

GET /ems/_search
{
  "query":{
    "term":{
      "content":"redis"
    }
  },
  "highlight": {
    "pre_tags": ["<span style='color:red'>"],
    "post_tags": ["</span>"],
    "require_field_match":false,
    "fields": {
      "*":{}
    }
  }
}

过滤

在执行filter和query时,先执行filter在执行query

Elasticsearch会自动缓存经常使用的过滤器，以加快性能

filter：过滤
- term : term 一般用在不分词字段上的，因为它是完全匹配查询，如果要查询的字段是分词字段就会被拆分成各种分词结果，和完全查询的内容就对应不上了
- terms : 类似于数据库的 in
- ranage : 查询范围
- exists : 是否存在

#terms
GET /ems/_search
{
  "query": {
    "constant_score": {
      "filter": {
        "terms": {
          "content": [ # 包含以下关键字
            "redis",
            "api"
          ]
        }
      }
    }
  }
}

# ranage
GET /ems/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "content": {
              "value": "redis"
            }
          }
        }
      ],
      "filter": {
        "range": {
          "age": {
            "gte": 8,
            "lte": 23
          }
        }
      }
    }
  }
}

# exists
GET /ems/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "content": {
              "value": "redis"
            }
          }
        }
      ],
      "filter": {
        "exists": {
          "field": "address"
        }
      }
    }
  }
}

关键字

query ：查询
- match_all: 返回索引中的全部文档
- match：条件匹配
- multi_match : 多字段检索
- term: 用来使用关键词查询
- range: 用来指定查询指定范围内的文档
- prefix: 用来检索含有指定前缀的关键词的相关文档
- wildcard: 通配符查询 ? =用来匹配一个任意字符 * =用来匹配多个任意字符
- regexp：正则搜索
- ids : 值为数组类型,用来根据一组id获取多个对应的文档
- fuzzy: 用来模糊查询含有指定关键字的文档
- bool: 用来组合多个条件实现复杂查询
  - must: 相当于&& 同时成立
  - should: 相当于|| 成立一个就行。有一个特殊性，如果组合查询中没有 must 条件，那么 should 中必须至少匹配一个。可以通过 minimum_should_match 来限制它匹配更多个。
  - must_not: 相当于! 不能满足任何一个
  - filter：过滤
    - term : term 一般用在不分词字段上的，因为它是完全匹配查询，如果要查询的字段是分词字段就会被拆分成各种分词结果，和完全查询的内容就对应不上了
    - terms : 类似于数据库的 in
    - ranage : 查询范围
    - exists : 是否存在
size: 指定查询结果中返回指定条数。默认返回值10条
from：用来指定起始返回位置，和size关键字连用可实现分页效果
_source: 是一个数组,在数组中用来指定展示那些字段
highlight: 可以让符合条件的文档中的关键词高亮。自定义高亮html标签:
- pre_tags：高亮前缀
- post_tags：高亮后缀
- require_field_match：开启多个字段高亮

聚合查询

聚合操作主要分以下四种类型：

聚合方式	解释
Bucket Aggregation	一些满足特定条件的文档的集合
Metric Aggregation	一些数学计算，可以对文档字段统计分析
Pipeline Aggregation	对其他的聚合结果进行二次聚合
Metrix Aggregation	支持对多个字段的操作并提供一个结果矩阵

格式说明

//可简写为 aggs
"aggregations" : { 
    //聚合的名字 自定义
    "<aggregation_name>" : {   
        //聚合的类型
        "<aggregation_type>" : {   
            //聚合体：对哪些字段进行聚合
            <aggregation_body>      
        }
        //元
        [,"meta" : {  [<meta_data_body>] } ]?
    	
    	//在聚合里面在定义子聚合
        [,"aggregations" : { [<sub_aggregation>]+ } ]?   
    } 
	//聚合的名字2 ...
    [,"<aggregation_name_2>" : 
     { 
     	... 
     },
	...]                   
}

简单聚合查询例子

数据

// 创建索引字段映射
PUT employee
{
  "mappings": {
    "properties": {
      "id": {
        "type": "integer"
      },
      "name": {
        "type": "keyword"
      },
      "job": {
        "type": "keyword"
      },
      "age": {
        "type": "integer"
      },
      "gender": {
        "type": "keyword"
      }
    }
  }
}

// 添加数据
PUT employee/_bulk
{"index": {"_id": 1}}
{"id": 1, "name": "Bob", "job": "java", "age": 21, "sal": 8000, "gender": "male"}
{"index": {"_id": 2}}
{"id": 2, "name": "Rod", "job": "html", "age": 31, "sal": 18000, "gender": "female"}
{"index": {"_id": 3}}
{"id": 3, "name": "Gaving", "job": "java", "age": 24, "sal": 12000, "gender": "male"}
{"index": {"_id": 4}}
{"id": 4, "name": "King", "job": "dba", "age": 26, "sal": 15000, "gender": "female"}
{"index": {"_id": 5}}
{"id": 5, "name": "Jonhson", "job": "dba", "age": 29, "sal": 16000, "gender": "male"}
{"index": {"_id": 6}}
{"id": 6, "name": "Douge", "job": "java", "age": 41, "sal": 20000, "gender": "female"}
{"index": {"_id": 7}}
{"id": 7, "name": "cutting", "job": "dba", "age": 27, "sal": 7000, "gender": "male"}
{"index": {"_id": 8}}
{"id": 8, "name": "Bona", "job": "html", "age": 22, "sal": 14000, "gender": "female"}
{"index": {"_id": 9}}
{"id": 9, "name": "Shyon", "job": "dba", "age": 20, "sal": 19000, "gender": "female"}
{"index": {"_id": 10}}
{"id": 10, "name": "James", "job": "html", "age": 18, "sal": 22000, "gender": "male"}
{"index": {"_id": 11}}
{"id": 11, "name": "Golsling", "job": "java", "age": 32, "sal": 23000, "gender": "female"}
{"index": {"_id": 12}}
{"id": 12, "name": "Lily", "job": "java", "age": 24, "sal": 2000, "gender": "male"}
{"index": {"_id": 13}}
{"id": 13, "name": "Jack", "job": "html", "age": 23, "sal": 3000, "gender": "female"}
{"index": {"_id": 14}}
{"id": 14, "name": "Rose", "job": "java", "age": 36, "sal": 6000, "gender": "female"}
{"index": {"_id": 15}}
{"id": 15, "name": "Will", "job": "dba", "age": 38, "sal": 4500, "gender": "male"}
{"index": {"_id": 16}}
{"id": 16, "name": "smith", "job": "java", "age": 32, "sal": 23000, "gender": "male"}

查询工种有几种类型

// 查询
GET employee/_doc/_search
{
  "size": 0, 
  "aggs": {
    "job_category_count": {
      "cardinality": {
        "field": "job"
      }
    }
  }
}

// 如果报错，需要打开支持聚合索引先执行  注意聚合操作那个字段需要给字段映射添加fielddata：true，最好在字段映射时添加上
PUT employee/_mapping/_doc/
{
  "properties": {
    "job": { 
      "type":     "text",
      "fielddata": true
    }
  }
}

// 响应
{
  "took" : 548,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 17,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "job_category_count" : {
      "value" : 3
    }
  }
}

查询每个工种分桶信息

// 查询
GET employee/_doc/_search
{
  "size": 0, 
  "aggs": {
    "job_agg_info": {
      "terms": {
        "field": "job"
      }
    }
  }
}

// 响应
{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 17,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "job_agg_info" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "java",
          "doc_count" : 7
        },
        {
          "key" : "dba",
          "doc_count" : 5
        },
        {
          "key" : "html",
          "doc_count" : 4
        }
      ]
    }
  }
}

查询每个工种的数量，以及不同工种的工资统计信息

// 查询
GET employee/_search
{
  "size": 0, 
  "aggs": {
    "job_and_salary_info": {
      "terms": {
        "field": "job"
      },
      "aggs": {
        "sal_info": {
          "stats": {
            "field": "sal"
          }
        }
      }
    }
  }
}

// 响应
{
  "took" : 6044,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 17,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "job_and_salary_info" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "java",
          "doc_count" : 7,
          "sal_info" : {
            "count" : 7,
            "min" : 2000.0,
            "max" : 23000.0,
            "avg" : 13428.57142857143,
            "sum" : 94000.0
          }
        },
        {
          "key" : "dba",
          "doc_count" : 5,
          "sal_info" : {
            "count" : 5,
            "min" : 4500.0,
            "max" : 19000.0,
            "avg" : 12300.0,
            "sum" : 61500.0
          }
        },
        {
          "key" : "html",
          "doc_count" : 4,
          "sal_info" : {
            "count" : 4,
            "min" : 3000.0,
            "max" : 22000.0,
            "avg" : 14250.0,
            "sum" : 57000.0
          }
        }
      ]
    }
  }
}

小艾影

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【elasticsearch】es操作-DSL查询

原文：https://blog.csdn.net/weixin_45921762/article/details/107933085es7后不支持类型使用语法URL查询: GET /索引/_search?参数DSL查询: POST /索引/_search {}数据1.删除索引DELETE /ems2.创建索引并指定类型PUT /ems{ "mappings":{ "properties":{ "name":{ "type"
复制链接

扫一扫