Elasticsearch聚合分析、mget批量查询、bulk批量更新

最新推荐文章于 2024-04-01 10:32:51 发布
最新推荐文章于 2024-04-01 10:32:51 发布
阅读量831 收藏 1
点赞数
分类专栏： 笔记 文章标签： elasticsearch mget bulk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strburnchang/article/details/88653117
版权

Elasticsearch分组集合

一、分组聚合操作

开启fielddata属性

1.在ElasticSearch中默认fielddata默认是false的，因为开启Text的fielddata后对内存的占用很高

如果进行聚合查询时候就需要开启 fielddata 属性，如下：


PUT /leafproduct/_mapping/product
{
  "properties": {
    "tags":{
      "type": "text",
      "fielddata":true
    }
  }
}

2.分组查询（每一个标签tags下有多少个商品）

（1）语法
 GET /leafproduct/product/_search
 {
   "size": 0, 
   "aggs": {
     "group_by_tags": {
       "terms": {
         "field": "tags"
       }
     }
   }
 }

（2）结果

{
  "took" : 29,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_tags" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "roushui",
          "doc_count" : 2
        },
        {
          "key" : "sihua",
          "doc_count" : 2
        },
        {
          "key" : "lishi",
          "doc_count" : 1
        },
        {
          "key" : "oulaiya",
          "doc_count" : 1
        }
      ]
    }
  }
}

3.查询加统计（对name包含"xifalu"的商品,每一个标签下有多少商品）


（1）语法：
GET /leafproduct/product/_search
{
  "size": 0, 
  "query": {
    "match": {
      "name": "xifalu"
    }
  },
  "aggs": {
    "group_by_tags": {
      "terms": {
        "field": "tags"
      }
    }
  }
  
}

（2）结果

{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_tags" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "roushui",
          "doc_count" : 2
        },
        {
          "key" : "sihua",
          "doc_count" : 2
        },
        {
          "key" : "lishi",
          "doc_count" : 1
        },
        {
          "key" : "oulaiya",
          "doc_count" : 1
        }
      ]
    }
  }
}

4.集合分析（先按照tags分组，再计算，每个分组下商品价格的平均值，再按照平均价格升序排序）

（1）语法
GET /leafproduct/product/_search
{
  "size": 0, 
  "aggs": {
    "group_by_tags": {
      "terms": {
        "field": "tags"
        , "order": {
          "avg_price": "asc"
        }
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
  
}

（2）结果

  {
    "took" : 8,
    "timed_out" : false,
    "_shards" : {
      "total" : 5,
      "successful" : 5,
      "skipped" : 0,
      "failed" : 0
    },
    "hits" : {
      "total" : 3,
      "max_score" : 0.0,
      "hits" : [ ]
    },
    "aggregations" : {
      "group_by_tags" : {
        "doc_count_error_upper_bound" : 0,
        "sum_other_doc_count" : 0,
        "buckets" : [
          {
            "key" : "roushui",
            "doc_count" : 2,
            "avg_price" : {
              "value" : 40.24499988555908
            }
          },
          {
            "key" : "oulaiya",
            "doc_count" : 1,
            "avg_price" : {
              "value" : 49.5
            }
          },
          {
            "key" : "sihua",
            "doc_count" : 2,
            "avg_price" : {
              "value" : 55.48999881744385
            }
          },
          {
            "key" : "lishi",
            "doc_count" : 1,
            "avg_price" : {
              "value" : 79.98999786376953
            }
          }
        ]
      }
    }
  }

5.集合分析（先按照price区间分组，再按照tags分组，计算每个分组下商品价格的平均值，再按照平均价格升序排序）

（1）语法
GET /leafproduct/product/_search
{
  "size": 0, 
  "aggs": {
    "group_by_price": {
      "range": {
        "field": "price",
        "ranges": [
          {
            "from": 0,
            "to": 30
          },
          {
            "from": 30,
            "to": 50
          },
          {
            "from": 50,
            "to": 100
          }
        ]
      },
      "aggs": {
        "group_by_tags": {
          "terms": {
            "field": "tags",
            "order": {
              "avg_price": "asc"
            }
          },
          "aggs": {
            "avg_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
  
}

（2）结果：

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_price" : {
      "buckets" : [
        {
          "key" : "0.0-30.0",
          "from" : 0.0,
          "to" : 30.0,
          "doc_count" : 0,
          "group_by_tags" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [ ]
          }
        },
        {
          "key" : "30.0-50.0",
          "from" : 30.0,
          "to" : 50.0,
          "doc_count" : 2,
          "group_by_tags" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "sihua",
                "doc_count" : 1,
                "avg_price" : {
                  "value" : 30.989999771118164
                }
              },
              {
                "key" : "roushui",
                "doc_count" : 2,
                "avg_price" : {
                  "value" : 40.24499988555908
                }
              },
              {
                "key" : "oulaiya",
                "doc_count" : 1,
                "avg_price" : {
                  "value" : 49.5
                }
              }
            ]
          }
        },
        {
          "key" : "50.0-100.0",
          "from" : 50.0,
          "to" : 100.0,
          "doc_count" : 1,
          "group_by_tags" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "lishi",
                "doc_count" : 1,
                "avg_price" : {
                  "value" : 79.98999786376953
                }
              },
              {
                "key" : "sihua",
                "doc_count" : 1,
                "avg_price" : {
                  "value" : 79.98999786376953
                }
              }
            ]
          }
        }
      ]
    }
  }
}

二、批量查询和批量更新

1.批量查询 mget多文档查询

(1).不指定定某一索引和类型

 可以指定不同索引下，不同类型数据，一起批量查询
eg:
GET _mget
{
  "docs":[
     {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "1"
     },  
     {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "2"
     }
  ]
}

结果：

{
  "docs" : [
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "1",
      "_version" : 5,
      "found" : true,
      "_source" : {
        "name" : "haifeisi xifalu",
        "desc" : "rousishunhua",
        "price" : 30.99,
        "producer" : "haifeisi_PRODUCER",
        "tags" : [
          "roushui",
          "sihua"
        ]
      }
    },
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "2",
      "_version" : 1,
      "found" : true,
      "_source" : {
        "name" : "oulaiya xifalu",
        "desc" : "buxiu",
        "price" : 49.5,
        "producer" : "oulaiya",
        "tags" : [
          "roushui",
          "oulaiya"
        ]
      }
    }
  ]
}

(2).不指定类型

可以指定索引，不指定类型，一起批量查询
eg: 
GET /leafproduct/_mget
{
  "docs":[
     {
        "_type" : "product",
        "_id" : "1"
     },  
     {
        "_type" : "product",
        "_id" : "2"
     }
  ]
}

结果：

{
  "docs" : [
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "1",
      "_version" : 5,
      "found" : true,
      "_source" : {
        "name" : "haifeisi xifalu",
        "desc" : "rousishunhua",
        "price" : 30.99,
        "producer" : "haifeisi_PRODUCER",
        "tags" : [
          "roushui",
          "sihua"
        ]
      }
    },
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "2",
      "_version" : 1,
      "found" : true,
      "_source" : {
        "name" : "oulaiya xifalu",
        "desc" : "buxiu",
        "price" : 49.5,
        "producer" : "oulaiya",
        "tags" : [
          "roushui",
          "oulaiya"
        ]
      }
    }
  ]
}

(3).固定索引，固定类型，批量根据ID查询，并且只查询某些字段

eg：批量查询id为1 2的document,且 仅查询返回 name,tags字段
GET /leafproduct/product/_mget
{
  "docs":[
     {
        "_id" : "1",
        "_source":["name","tags"]
     },  
     {
        "_id" : "2",
        "_source":["name","tags"]
     }
  ]
}

结果：
{
  "docs" : [
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "1",
      "_version" : 5,
      "found" : true,
      "_source" : {
        "name" : "haifeisi xifalu",
        "tags" : [
          "roushui",
          "sihua"
        ]
      }
    },
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "2",
      "_version" : 1,
      "found" : true,
      "_source" : {
        "name" : "oulaiya xifalu",
        "tags" : [
          "roushui",
          "oulaiya"
        ]
      }
    }
  ]
}



eg:批量根据id查询document
GET /leafproduct/product/_mget
{
  "ids":[ "1", "2","6"]
}

结果：注意id为6的未找到的文档返回结果
{
  "docs" : [
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "1",
      "_version" : 5,
      "found" : true,
      "_source" : {
        "name" : "haifeisi xifalu",
        "desc" : "rousishunhua",
        "price" : 30.99,
        "producer" : "haifeisi_PRODUCER",
        "tags" : [
          "roushui",
          "sihua"
        ]
      }
    },
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "2",
      "_version" : 1,
      "found" : true,
      "_source" : {
        "name" : "oulaiya xifalu",
        "desc" : "buxiu",
        "price" : 49.5,
        "producer" : "oulaiya",
        "tags" : [
          "roushui",
          "oulaiya"
        ]
      }
    },
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "6",
      "found" : false
    }
  ]
}

2.批量更新 bulk多命令批量操作（批处理）

(1）.一些解释

a.可以进行如下操作
    delete: 删除文档
    create: 创建一个文档（创建文档存在时(id冲突),会报错，和其他操作一起执行是不影响其他操作）
    update: 更新文档（partial update-部分更新）
    index: 类似PUT 操作，全量替换操作。
Tips：
    create 和index的区别 ： 如果数据存在，使用create操作失败，会提示文档已经存在，使用index则可以成功执行。
b.bulk批处理数据量
    bulk会把将要处理的数据载入内存中，所以数据量是有限制的，最佳的数据量不是一个确定的数值，它取决于你的硬件，你的文档大小以及复杂性，你的索引以及搜索的负载。
    一般建议是1000-5000个文档,5-15M大小的文档量

（2）.实操

eg: 
批量操作：
删除一个已存在的document
创建一个新的document
创建一个已存在的document
更新一个存在的document
index不演示，自己可以尝试下

语法：
POST _bulk
{"delete":{"_index":"leafproduct","_type":"product","_id":3}}
{"create":{"_index":"leafproduct","_type":"product","_id":4}}
{"name":"测试id-4","desc":"测试创建","price":559.5,"producer":"leaf","tags":["测试","你好"]}
{"create":{"_index":"leafproduct","_type":"product","_id":4}}
{"name":"测试重复创建id-4","desc":"测试创建","price":559.5,"producer":"leaf","tags":["测试","你好"]}
{"update":{"_index":"leafproduct","_type":"product","_id":4}}
{"doc":{"tags":["测试","更新4的tags"]}}

结果：
{
  "took" : 385,
  "errors" : true,
  "items" : [
    {
      "delete" : {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "3",
        "_version" : 2,
        "result" : "deleted",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 1,
        "_primary_term" : 2,
        "status" : 200
      }
    },
    {
      "create" : {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "4",
        "_version" : 1,
        "result" : "created",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 3,
        "_primary_term" : 2,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "4",
        "status" : 409,
        "error" : {
          "type" : "version_conflict_engine_exception",
          "reason" : "[product][4]: version conflict, document already exists (current version [1])",
          "index_uuid" : "VrTaZV-GTKG01GxAtBUH8A",
          "shard" : "2",
          "index" : "leafproduct"
        }
      }
    },
    {
      "update" : {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "4",
        "_version" : 2,
        "result" : "updated",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 4,
        "_primary_term" : 2,
        "status" : 200
      }
    }
  ]
}
strburnchang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch-多索引检索与批量操作
奔跑的豆子的专栏
10-19 2万+
ElasticSearch的速度已经很快了，但甚至能更快。将多个请求合并成一个，避免单独处理每个请求话费的网络延时和开销。如果你需要从ElasticSearch中检索很多文档，那么使用multi_get或者mgetAPI来将这些检索请求放在一个请求中，将比逐个文档请求更快的检索到全部文档。mgetAPI要求有一个docs数组作为参数，每个元素包含检索文档的元数据，包括_index，_type，_id
python3实现elasticsearch批量更新数据
01-20
废话不多说，直接上代码！ updateBody = { query:{ range:{ write_date: { gte: 2019-01-15 12:30:17, lte: now } } }, script: { inline: ctx._source.index = params.index, params: { ...}
elasticsearch 批量更新_bulk
nddjava的专栏
12-21 488
POST /es_medias_2/_bulk {"update":{"_index":"es_medias_2","_type":"esmedias","_id":"d483a79610b943f9892f479e1e4df808"}} {"doc":{"mediaTag":"张灿,娱乐,爱你"}} { "index" : { "_index" : "zhouls", "_type" : "type1", "_id" : "1" } } { "field1" : "value1" } { "ind
ElasticSearch 实战：ElasticSearch JavaApi 文档批量操作
最新发布
qq_33240556的博客
04-01 306
Elasticsearch 实战：Elasticsearch Java API 文档批量操作使用 Elasticsearch Java API 进行文档的批量操作，可以显著提高数据导入、更新或删除的效率。
es mget批量查询
mn_kw的博客
09-12 876
批量查询的好处 就是一条一条的查询，比如说要查询100条数据，那么就要发送100次网络请求，这个开销还是很大的，如果进行批量查询的话， 查询100条数据，就只要发送1次网络请求，网络请求性能开销缩减100倍 2. meget的语法 GET /_mget {     "docs":[         {             "_index":"test_index",             ...
ElasticSearch最佳入门实践（二十五）mget批量查询api
Fireworks
11-04 718
1、批量查询的好处 就是一条一条的查询，比如说要查询100条数据，那么就要发送100次网络请求，这个开销还是很大的 如果进行批量查询的话，查询100条数据，就只要发送1次网络请求，网络请求的性能开销缩减100倍 2、mget的语法 可以说mget是很重要的，一般来说，在进行查询的时候，如果一次性要查询多条数据的话，那么一定要用batch批量操作的api 尽可能减少网络开销次数，可能可以将性能...
ElasticSearch系列——mget批量查询
weixin_42894555的博客
07-10 271
文章目录批量查询的好处mget的语法（1）一条一条的查询（2）mget批量查询（3） 如果查询的document是一个index下的不同type种的话（4）如果查询的数据都在同一个index下的同一个type下，最简单了mget的重要性 ElasticSearch系列——主目录 批量查询的好处 就是一条一条的查询，比如说要查询100条数据，那么就要发送100次网络请求，这个开销还是很大的 如果进行批量查询的话，查询100条数据，就只要发送1次网络请求，网络请求的性能开销缩减100倍 mget的语法.
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、排序、筛选等操作。在 Java 中，我们可以使用 Elastic...
基于Spring Batch向Elasticsearch批量导入数据示例
08-27
基于Spring Batch向Elasticsearch批量导入数据示例 本文介绍了基于Spring Batch向Elasticsearch批量导入数据示例，旨在解决大规模数据从数据库导入Elasticsearch时的效率问题。Spring Batch框架使用ItemReader分页...
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
01-15
从Kafka中批量拉去数据，然后批量更新到es里。一次拉取的数量可以设置，现在是10000，轻松运转，更新到es内部也是，目标是百万日志秒处理
elasticsearch进行批量插入的时候总是少数据
01-07
两张mysql数据库的表，需要把两张表的数据取共同字段，合并并导入es中，其中a表共有数据1000条，b表共有数据1200条，a表和b表的主键id都是从1开始递增的，结果导入的时候显示成功导入2200条数据，而实际查询的时候却...
Elasticsearch MGet与Bulk
王佩的CSDN博客
09-02 1141
MGet(Multi Get)与Bulk 都是ES里的批量操作。可降低多次请求的网络开销，提升性能。 MGet:一次请求查询多个文档。 Bulk:一次请求执行多次index、create、update、delete操作。 MGet 注意: mget API 需要一个docs数组。 数组的每一项包含_index、_type、_id。同一Index下，_index可以省略;同一Inde...
ElasticSearch基础之批量操作(mget+mbulk)
weixin_33720078的博客
04-04 125
　　 在前面的演示中，我们都是基于一次http查询，每次查询都要建立http的三次握手请求，这样比较耗费性能！因此ES给我们提供了基本的批量查询功能，例如如下的查询，注意里面的index是可以任意指明的，不需要都一致 【01】批量查询之_mget操作,如下查询表示指定同时查询索引testdb下的两个type(job1和job2)里面的数据：注意我们可以在这里指定不同的索引，例如testdb1,...
elasticsearch学习之mget批量查询api
weixin_45012575的博客
09-09 202
1.批量查询的好处 一条一条的查询，比如说查询100条数据，要发送100次网络请求，这个开销还是很大的，如果进行批量查询100天数据的话，只需要发送一次网络请求，网络请求性能开销直接减少100倍。 2.mget的语法 （1）如果查询的document是在不同的index，不同的type，不同的id中的话 GET /_mget { "docs":[ { "_index":"t...
Elasticsearch操作数据后马上更新的办法
方方园园的博客
06-12 1874
BulkRequestBuilder bulkRequest = ESTools.client.prepareBulk().setRefresh(true); 这里的setRefresh(true); 就是自动刷新的用处。所以在我们CRUD的时候，如果对数据增删改操作的时候，如果要及时返回最新数据，那么我们就需要加这个方法，及时刷新数据。 当然 Elasticsearch 也是可以配置刷新时间的，但是没必要，频繁的刷新会造成压力过大。 or bulkProcessor.flush(); 或者程序Threa
ElasticSearch常用DSL语句学习
长腿小码农的博客
09-22 1071
操作版本6.5 创建索引 1、创建索引，等价于mysql创建一个库 PUT /student_test
Elasticsearch(036)：es中批量操作之mget(批量查询)
瘦子没有夏天
10-22 5057
mget(批量查询) 一、介绍 mget是es提供的一种批量的读取操作的API。 mget API允许根据索引，类型（可选）和id（以及可能的路由）获取多个文档。响应包括一个docs数组。该数组具有与原始多重获取请求相对应的所有提取文档（如果特定的get失败，则在响应中包含包含此错误的对象）。成功获取的结构与get API提供的文档的结构相似。 二、示例用法 2.1 测试数据准备 示例索引结构如下 PUT example PUT example/docs/_mapping { "properties"
Elasticsearch聚合后分页深入详解
热门推荐
铭毅天下Elasticsearch
01-20 5万+
1、Elasticsearch支持聚合后分页吗，为什么？ 不支持，看看Elasticsearch员工如何解读。 这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下： 1）性能角度——聚合分页会在大量的记录中产生性能问题。 2）正确性角度——聚合的文档计数不准确。 所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元素更高的计
ElasticSearch的多字段分组聚合的三种实现方式
IT- 研究者
03-26 1万+
ElasticSearch的多字段分组聚合的三种实现方式 一、ElasticSearch的分组聚合 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html#_multi_field_terms_aggregation 实现背景：实现类似SQL的group by功能： select team,age from a_perso
ElasticSearch 批量条件查询mget
05-24
在Elasticsearch中，可以使用批量多文档读取（mget）API来进行批量条件查询。该API支持一个或多个索引中的多个文档的检索。 以下是一个示例查询： ``` POST /<index>/_mget { "docs" : [ { "_index" : "<index>...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值