ES（四）ES使用（基本查询、聚合查询）

最新推荐文章于 2024-06-30 14:03:36 发布
最新推荐文章于 2024-06-30 14:03:36 发布
阅读量1.4k 收藏
点赞数
分类专栏： elasticsearch学习笔记
原文链接：https://blog.csdn.net/ifenggege/article/details/86103918
版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ifenggege/article/details/86103918
基本操作
操作索引
1.新建索引
curl -XPUT localhost:9200/index01

2.查看索引
curl -XGET http://192.168.168.101:9200/index01/_settings

curl -XGET http://192.168.168.101:9200/index01,blog/_settings

3.删除索引
curl -XDELETE http://192.168.168.101:9200/index02

4.打开关闭索引
curl -XPOST http://192.168.168.101:9200/index01/_close

curl -XPOST http://192.168.168.101:9200/index01/_open

文档管理
1.新建文档
curl -XPUT -d ‘{‘id’:1,‘title’:‘es简介’}’ http://localhost:9200/index01/article/1

2.获取文档
curl -XGET http://192.168.168.101:9200/index01/article/1

3.删除文档
curl -XDELETE http://192.168.168.101:9200/index01/article/1

查询操作
类Lucene查询

_exists_:execution_completed_time
__type:company_extended_business
weibo_type:18 OR weibo_type:24 OR weibo_type:25
NOT company_id:442966
first_consume_time:{'2019-01-03 00:00:00' TO '2019-01-03 00:00:00'}


1
2
3
4
5
6
7
8
基本查询
指定请求头
–header “content-Type:application/json”

准备数据
curl -XPUT -d '{"id":1,"title":"es简介","content":"es好用好用真好用"}' http://192.168.168.101:9200/index01/article/1
curl -XPUT -d '{"id":1,"title":"java编程思想","content":"这就是个工具书"}' http://192.168.168.101:9200/index01/article/2
curl -XPUT -d '{"id":1,"title":"大数据简介","content":"你知道什么是大数据吗，就是大数据"}' http://192.168.168.101:9200/index01/article/3
1
2
3
term query
curl -XGET http://192.168.168.101:9200/index01/_search -d {'query':{'term':{'title':'你好'}}}
1
查询的字段只有一个值得时候，应该使用term而不是terms，在查询字段包含多个的时候才使用terms，使用terms语法，json中必须包含数组

match在匹配时会对所查找的关键词进行分词，然后按分词匹配查找，而term会直接对关键词进行查找。一般**模糊查找的时候，多用match，而精确查找时可以使用term

terms query
{
    'query':{
        'terms':{
            'tag':["search",'nosql','hello']
        }
    }
}
1
2
3
4
5
6
7
match query
{'query':{'match':{'title':'你好'}}}

{
   "query": {
     "match": {
       "__type": "info"
     }
   },
   "sort": [
     {
       "campaign_end_time": {
         "order": "desc"
       }
     }
   ]
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
match_all
{'query':{'match_all':{'title':'标题一样'}}}
1
multi match
多值匹配查询

{
  "query": {
    "multi_match": {
      "query": "运动 上衣",
      "fields": [
        "brandName^100",
        "brandName.brandName_pinyin^100",
        "brandName.brandName_keyword^100",
        "sortName^80",
        "sortName.sortName_pinyin^80",
        "productName^60",
        "productKeyword^20"
      ],
      "type": <multi-match-type>,
      "operator": "AND"
    }
  }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Bool query
bool查询包含四个子句，must，filter，should，must_not

{
    'query':{
        'bool':{
            'must':[{
                'term':{
                    '_type':{
                        'value':'age'
                    }
                }
             },{
                 'term':{
                     'account_grade':{
                         'value':'23'
                     }
                 }
             }
           ]
            
        }
    }
    
}

{
    "bool":{
            "must":{
                "term":{"user":"lucy"}
            },
            "filter":{
                "term":{"tag":"teach"}    
            },
            "should":[
                  {"term":{"tag":"wow"}},
                {"term":{"tag":"elasticsearch"}}
            ],
               "mininum_should_match":1,
               "boost":1.0                      
        }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
Filter query
query和filter的区别：query查询的时候，会先比较查询条件，然后计算分值，最后返回文档结果；而filter是先判断是否满足查询条件，如果不满足会缓存查询结果（记录该文档不满足结果），满足的话，就直接缓存结果

filter快在：对结果进行缓存，避免计算分值

{
    "query": {
      "bool": {
        "must": [
          {"match_all": {}}
        ],
        "filter": {
          "range": {
            "create_admin_id": {
              "gte": 10,
              "lte": 20
            }
          }
        }
      }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
range query
{
    'query':{
        'range':{
            'age':{
                'gte':'30',
                'lte':'20'
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
通配符查询
{
    'query':{
        'wildcard':{
            'title':'cr?me'
        }
    }
    
}

1
2
3
4
5
6
7
8
9
正则表达式查询
{
    'query':{
        'regex':{
            'title':{
                'value':'cr.m[ae]',
                'boost':10.0
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
前缀查询
{
    'query':{
        'match_phrase_prefix':{
            'title':{
                'query':'crime punish',
                'slop':1
            }
        }
    }
}
1
2
3
4
5
6
7
8
9
10
query_string
{
    'query':{
        'query_string':{
            'query':'title:crime^10 +title:punishment -otitle:cat +author:(+Fyodor +dostoevsky)'
        }
    }
}
1
2
3
4
5
6
7
聚合查询
聚合提供了用户进行分组和数理统计的能力，可以把聚合理解成SQL中的GROUP BY和分组函数

指标聚合/桶聚合

Metrics（度量/指标）：简单的对过滤出来的数据集进行avg，max操作，是一个单一的数值

Bucket（桶）：将过滤出来的数据集按条件分成多个小数据集，然后Metrics会分别作用在这些小数据集上

max/min/avg/sum/stats
{
    'aggs':{c
        'group_sum':{
            'sum':{
                'field':'money'
            }
        }
    }
}

{
   "aggs":{
      "avg_fees":{
              "avg":{
                  "field":"fees"
              }
          }
   }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
terms聚合
terms根据字段值项分组聚合.field按什么字段分组,size指定返回多少个分组,shard_size指定每个分片上返回多少个分组,order排序方式.可以指定include和exclude正则筛选表达式的值,指定missing设置缺省值

{
    'aggs':{
        'group_by_type':{
            'terms':{
                'field':'_type'
            }
        }
    }
}

{
    "size": 0, 
    "aggs": {
      "terms":{
        "terms": {
          "field": "__type",
          "size": 10
        }
      }
    }
}
{
    "size": 0, 
    "aggs": {
      "terms":{
        "terms": {
          "field": "__type",
          "size": 10,
          "order": {
            "_count": "asc"
          }
        }
      }
    }
}
{
    "size": 0, 
    "aggs": {
      "agg_terms": {
        "terms": {
          "field": "cost",
          "order": {
            "_count": "asc"
          }
        },
        "aggs": {
          "max_balance": {
            "max": {
              "field": "cost"
            }
          }
        }
      }
    }
}
{
    "size": 0, 
    "aggs": {
      "agg_terms": {
        "terms": {
          "field": "cost",
          "include": ".*",
          "exclude": ".*"
        }
      }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
cardinality去重
{
    "size": 0, 
    "aggs": {
      "count_type": {
        "cardinality": {
          "field": "__type"
        }
      }
    }
}
cardinality

1
2
3
4
5
6
7
8
9
10
11
12
percentiles百分比
percentiles对指定字段（脚本）的值按从小到大累计每个值对应的文档数的占比（占所有命中文档数的百分比），返回指定占比比例对应的值。默认返回[ 1, 5, 25, 50, 75, 95, 99 ]分位上的值
{
    "size": 0, 
    "aggs": {
      "age_percents":{
        "percentiles": {
          "field": "age",
          "percents": [
            1,
            5,
            25,
            50,
            75,
            95,
            99
          ]
        }
      }
       
    }
}


{
  "size": 0,
  "aggs": {
    "states": {
      "terms": {
        "field": "gender"
      },
      "aggs": {
        "banlances": {
          "percentile_ranks": {
            "field": "balance",
            "values": [
              20000,
              40000
            ]
          }
        }
      }
    }
  }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
percentiles rank
统计小于等于指定值得文档比

{
    "size": 0, 
    "aggs": {
      "tests": {
        "percentile_ranks": {
          "field": "age",
          "values": [
            10,
            15
          ]
        }
      }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
filter聚合
filter对满足过滤查询的文档进行聚合计算,在查询命中的文档中选取过滤条件的文档进行聚合,先过滤在聚合

{
    "size": 0, 
    "aggs": {
      "agg_filter":{
        "filter": {
          "match":{"gender":"F"}
        },
        "aggs": {
          "avgs": {
            "avg": {
              "field": "age"
            }
          }
        }
      }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
filtters聚合
多个过滤组聚合计算

{
    "size": 0, 
    "aggs": {
      "message": {
        "filters": {
          
          "filters": {
            "errors": {
              "exists": {
                "field": "__type"
              }
            },
            "warring":{
              "term": {
                "__type": "info"
              }
            }
          }
        }
      }
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
range聚合
{
    "aggs": {
      "agg_range": {
        "range": {
          "field": "cost",
          "ranges": [
            {
              "from": 50,
              "to": 70
            },
            {
              "from": 100
            }
          ]
        },
        "aggs": {
          "bmax": {
            "max": {
              "field": "cost"
            }
          }
        }
      }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
date_range聚合
{
     "aggs": {
       "date_aggrs": {
         "date_range": {
           "field": "accepted_time",
           "format": "MM-yyy", 
           "ranges": [
             {
               "from": "now-10d/d",
               "to": "now"
             }
           ]
         }
       }
     }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
date_histogram
时间直方图聚合,就是按天、月、年等进行聚合统计。可按 year (1y), quarter (1q), month (1M), week (1w), day (1d), hour (1h), minute (1m), second (1s) 间隔聚合或指定的时间间隔聚合

{ 
  "aggs": {
    "sales_over_time": {
      "date_histogram": {
        "field": "accepted_time",
        "interval": "quarter",
        "min_doc_count" : 0, //可以返回没有数据的月份
        "extended_bounds" : { //强制返回数据的范围
           "min" : "2014-01-01",
           "max" : "2014-12-31"
        }
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
missing聚合
{ 
  
  "aggs": {
    "account_missing": {
      "missing": {
        "field": "__type"
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
LogStash操作
启动logStash
logstash -e ‘input{stdin{}}output{stdout{codec=>rubydebug}}’

IK分词器
curl -XPOST http://192.168.168.101:9200/_analyze -d ‘{“analyzer”:“ik”,“text”:“JAVA编程思想”}’
http://192.168.168.101:9200/index01/_analyze?analyzer=ik&text=中华人民共和国

IK分词器
curl -XPUT -d ‘{“id”:1,“kw”:“我们都爱中华人民共和国”}’ http://192.168.168.101:9200/haha1/haha/1

Mapping
查看mapping
curl -XGET http://192.168.168.101:9200/jtdb_item/tb_item/_mapping
————————————————
版权声明：本文为CSDN博主「upupfeng」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ifenggege/article/details/86103918

Anglry
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES 查询用法
lazyboy2的博客
06-04 2万+
通过ES查询表达式(Query DSL)，可以实现复杂的查询功能，ES查询表达式主要由JSON格式编写，可以灵活的组合各种查询语句。 还支持一次搜索多个索引 按前缀匹配索引名 查询结果格式 2.query子句 query子句主要用来编写类似SQL的Where语句，支持布尔查询（and/or）、IN、全文搜索、模糊匹配、范围查询（大于小于）。aggs子句，主要用来编写统计分析语句，类似SQL的group by语句sort子句，用来设置排序条件，类似SQL的order by语句ES查询的分页主要通过from和s
easy-ES框架使用，轻松操作查询Elasticsearch
06-01
本文将详细介绍如何使用easy-ES来轻松地进行Elasticsearch的数据操作和查询。 ### 1. easy-ES框架简介 easy-ES框架是为了解决在Java开发中与Elasticsearch交互时的复杂性而诞生的。它提供了一套简洁、直观的API，...
es 查询
Tom的专栏
10-20 651
1.查询方式一 curl -XGET 'http://127.0.0.1:9200/library/_search?pretty' -d '{ "query": { "terms": { "title": [ "crime", "punishment", "complete", "front" ] } }, "post_filter" : { "term": {
Elasticsearch 聚合基础：terms、avg、sum 等
最新发布
Dxy1239310216的博客
06-30 376
在本文中，我们将深入探讨 Elasticsearch 的聚合基础，特别是 terms、avg 和 sum 聚合的使用。除了 terms、avg 和 sum 聚合之外，Elasticsearch 还提供了许多其他类型的聚合，如 min、max、stats（同时计算 min、max、avg、sum 等）等。除了 terms、avg 和 sum 聚合之外，Elasticsearch 还提供了许多其他类型的聚合，如 min、max、stats（同时计算 min、max、avg、sum 等）等。
es的查询
曹学成的博客
10-22 278
三种方式 1、id查询 http://localhost:9200/blog/hello/1 get方式 2、关键字查询（只能是单个字） http://localhost:9200/blog/hello/_search post方式 { "query":{ "term":{ "title":"乐" } } } 3、query_string的方式 http:...
ES基础查询
qq_43588909的博客
08-17 3434
ES基础
Elasticsearch查询
他叫阿来
01-22 2138
es常用的高级查询语法，批量操作命令
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询过程解析 Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
elasticSearch查询语句DSL
06-27
首先，我们将学习DSL的基本结构和语法规则，包括查询、过滤器、聚合和排序等核心概念。通过深入了解DSL的语法，您将能够灵活地组合不同类型的查询条件，以实现精准的数据检索。接下来，我们将探讨DSL的高级特性和...
Elasticsearch高级聚合查询
09-22
代码示例
ES查询
张不帅
12-16 831
查询所有(matchAllQuery) //查询所有 @Test public void matchAllQuery(){ //1 执行查询 SearchResponse searchResponse = client.prepareSearch("blog").setTypes("article").setQuery(QueryBuilders.matchAllQuery())....
es 查询语言
apriaaaa的博客
09-10 1489
{ "query": { "match_all": {} } } 分词器 测试ik切词：http://host_name_xx:port_yyy/qa_pair/_analyze?analyzer=ik&amp;pretty=true&amp;text=我是中国人"   综上，同样是对“这是一个对分词器的测试”进行分词，不同的分词器分词结果不同： ik_m...
【ElasticSearch笔记】ES基本查询
木子家有小可爱的博客
01-18 2301
Elasticsearch的基本使用，基础概念了解和常用查询语句示例说明。
ES查询总结
wbwbwbd的博客
06-14 1943
Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。对比关系：ES版本为7.2，已经没有了type的概念，不一定适用于小于7.2的版本，简单点说就是，把ES比喻成Mysql数据库，有type的时候，index就是一个数据库，type就是数据库的一个个表，这种情况下一个项目中一般只有一个index，多个type；没有type之后，可以把index理解成一个个表，一个项目变成了多个index。
【Elastic Search 学习总结】9. ES的基本查询--基于英文
FullStackDeveloper0的博客
03-27 1260
目录 1. 查询 term、terms match（match_all、multi_macth、match_pharse、match_pharse_prefix） wildcard fuzzy 2. 控制返回的数量、字段 3. 排序 4.日期的范围查询 一、数据准备 1. 创建索引并手动创建Mapping 2. 添加文档对象 我个人添加了5个 二、数据搜索...
es查询
u011013840的博客
11-20 886
127.0.0.1:9200/peoples/_search搜索 { "query":{ "match_phrase":{//全部匹配/"match模糊匹配" "title":"你是谁谁" } } }.. { "query":{ "multi_match":{//多模糊匹配 "query":"xxxx", "fields":["auther","age"]//多字段
es 聚合查询排除null_elasticsearch 聚合查询篇
06-02
好的，针对您的问题，您可以使用 Elasticsearch 的聚合查询中的“missing”聚合来排除 null 值。 具体来说，您可以使用以下的聚合查询语句： ``` { "aggs": { "field_name": { "missing": { "field": "your_field_name" } } } } ``` 其中，“field_name”是您想要聚合的字段名称，“your_field_name”是您想要排除 null 值的字段名称。 这样，您就可以得到该字段的非 null 值的聚合结果了。希望这能够帮助到您！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值