Elasticsearch 聚合函数返回空数组|查询返回空内容 ES里有数据

已于 2024-04-17 21:45:08 修改
阅读量599 收藏
点赞数 3
分类专栏： # Elasticsearch 文章标签： elasticsearch android 大数据 聚合数据 聚合字段
于 2024-04-03 11:12:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wpj130/article/details/137336738
版权

问题场景：

        今天用聚合函数想查询出catename不重复列表，类似于Mysql的group by函数。但返回的确是空数组[]，再三确认是有数据的。输出response：

{"took":1,"timed_out":false,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0},"hits":{"total":{"value":360,"relation":"eq"},"max_score":1.0,"hits":[{"_index":"goods","_type":"_doc","_id":"552","_score":1.0,"_source":{"cateName":"狗罐头","createTime":1673165093,"description":"","fullTextSearch":"PRINTPAW宠物狗零食鸡肉绕花生饼干成犬幼犬全犬种通用训犬奖励磨牙棒 【实惠装】鸡肉绕花生饼干360g狗罐头PRINTPAW官方旗舰店","id":552,"image":"//img10.360buyimg.com/n7/jfs/t1/228575/36/11044/79383/65976d82Fb5f1b102/48af91d69659fa57.jpg","price":36.9,"shopName":"PRINTPAW官方旗舰店","stock":1000,"title":"PRINTPAW宠物狗零食鸡肉绕花生饼干成犬幼犬全犬种通用训犬奖励磨牙棒 【实惠装】鸡肉绕花生饼干360g","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"584","_score":1.0,"_source":{"cateName":"狗罐头","createTime":1673165093,"description":"","fullTextSearch":"麦富迪 狗狗零食 成犬幼犬全犬种通用训犬奖励 蛋黄缠肉100g 混合口味 全阶段 国产狗罐头麦富迪官方旗舰店","id":584,"image":"//img11.360buyimg.com/n7/jfs/t1/227452/12/4395/157612/655efca3F444b9b85/06932f5d20c97662.jpg","price":15.0,"shopName":"麦富迪官方旗舰店","stock":1000,"title":"麦富迪 狗狗零食 成犬幼犬全犬种通用训犬奖励 蛋黄缠肉100g 混合口味 全阶段 国产","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"614","_score":1.0,"_source":{"cateName":"钓竿","createTime":1673165093,"description":"","fullTextSearch":"爱心东东 2022新款轻奢美人鱼鱼竿6h 美人鱼钓鱼竿轻硬19调6H碳素鲤鱼竿5.4 6.3 7.2米鱼台钓竿 超硬19调6H5.4米+礼包 新人首单满200多件多折！关注小店，更有粉丝价钓竿宽逸旗舰店","id":614,"image":"//img10.360buyimg.com/n7/jfs/t1/186750/35/19688/469778/61236599E7ca37659/d6efab66c7a0ad87.jpg","price":278.0,"shopName":"宽逸旗舰店","stock":1000,"title":"爱心东东 2022新款轻奢美人鱼鱼竿6h 美人鱼钓鱼竿轻硬19调6H碳素鲤鱼竿5.4 6.3 7.2米鱼台钓竿 超硬19调6H5.4米+礼包 新人首单满200多件多折！关注小店，更有粉丝价","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"604","_score":1.0,"_source":{"cateName":"钓竿","createTime":1673165093,"description":"","fullTextSearch":"特狼王鱼竿手竿4.5米5.4米6.3米7.2米钓鱼竿超轻超硬碳素台钓竿 4.5米杆稍+钩漂线 本产品为预售定制款，下单前请先联系客服咨询哦！钓竿汇斯盾彩泥店","id":604,"image":"//img10.360buyimg.com/n7/jfs/t1/139661/9/21538/211718/619f872bEed3fafb8/c5b4c0906e308c44.jpg","price":87.0,"shopName":"汇斯盾彩泥店","stock":1000,"title":"特狼王鱼竿手竿4.5米5.4米6.3米7.2米钓鱼竿超轻超硬碳素台钓竿 4.5米杆稍+钩漂线 本产品为预售定制款，下单前请先联系客服咨询哦！","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"340","_score":1.0,"_source":{"cateName":"汽车音箱","createTime":1673165093,"description":"","fullTextSearch":"6.5寸大柏林之声喇叭音箱空箱体汽车DIY水桶音响改装家用书架制作 如需定制钻孔/改孔请联系客服汽车音箱豪车拆车喇叭小店","id":340,"image":"//img11.360buyimg.com/n7/jfs/t1/229538/29/7287/214554/6575620aFe254e913/2af724e95d01ab53.jpg","price":198.0,"shopName":"豪车拆车喇叭小店","stock":1000,"title":"6.5寸大柏林之声喇叭音箱空箱体汽车DIY水桶音响改装家用书架制作 如需定制钻孔/改孔请联系客服","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"360","_score":1.0,"_source":{"cateName":"手机","createTime":1673165093,"description":"","fullTextSearch":"三星（SAMSUNG） Galaxy S24 Al智享生活办公 超视觉影像 第三代骁龙8 8GB+256GB 水墨黑 5G AI手机手机三星京东自营官方旗舰店","id":360,"image":"//img11.360buyimg.com/n7/jfs/t1/105669/35/48470/88509/65eadd08F50ab3480/c96b46bc41de9d0b.jpg","price":4999.0,"shopName":"三星京东自营官方旗舰店","stock":1000,"title":"三星（SAMSUNG） Galaxy S24 Al智享生活办公 超视觉影像 第三代骁龙8 8GB+256GB 水墨黑 5G AI手机","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"341","_score":1.0,"_source":{"cateName":"汽车音箱","createTime":1673165093,"description":"","fullTextSearch":"6.5寸大柏林之声喇叭音箱空箱体汽车DIY水桶音响改装家用书架制作 柏林分频器一只汽车音箱豪车拆车喇叭小店","id":341,"image":"//img14.360buyimg.com/n7/jfs/t1/229538/29/7287/214554/6575620aFe254e913/2af724e95d01ab53.jpg","price":70.0,"shopName":"豪车拆车喇叭小店","stock":1000,"title":"6.5寸大柏林之声喇叭音箱空箱体汽车DIY水桶音响改装家用书架制作 柏林分频器一只","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"597","_score":1.0,"_source":{"cateName":"狗罐头","createTime":1673165093,"description":"","fullTextSearch":"麦富迪（Myfoodie） 狗零食成幼犬通用营养拌饭狗湿粮包 羊奶肉包混合装70g*10袋 混合口味 全阶段 国产狗罐头麦富迪京东自营旗舰店","id":597,"image":"//img14.360buyimg.com/n7/jfs/t1/237833/8/13993/123403/65f57aa0F4f863c55/534fa4382e52005e.jpg","price":26.0,"shopName":"麦富迪京东自营旗舰店","stock":1000,"title":"麦富迪（Myfoodie） 狗零食成幼犬通用营养拌饭狗湿粮包 羊奶肉包混合装70g*10袋 混合口味 全阶段 国产","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"587","_score":1.0,"_source":{"cateName":"狗罐头","createTime":1673165093,"description":"","fullTextSearch":"麦富迪零食鸡胸肉干907g鸡肉干泰迪金毛幼犬磨牙补钙训练宠物狗狗零食 鸡肉味 全阶段 宠物狗罐头圣贝宠宠物生活专营店","id":587,"image":"//img10.360buyimg.com/n7/jfs/t1/175445/21/14350/367519/60c47a93E44b64e1e/3b02b0b509dc52f8.jpg","price":55.0,"shopName":"圣贝宠宠物生活专营店","stock":1000,"title":"麦富迪零食鸡胸肉干907g鸡肉干泰迪金毛幼犬磨牙补钙训练宠物狗狗零食 鸡肉味 全阶段 宠物","updateTime":1680094862,"views":0}},{"_index":"goods","_type":"_doc","_id":"598","_score":1.0,"_source":{"cateName":"狗罐头","createTime":1673165093,"description":"","fullTextSearch":"麦富迪 宠物狗狗零食 成犬幼犬训狗奖励鸡肉干400g 鸡肉味 全阶段 宠物狗罐头麦富迪京东自营旗舰店","id":598,"image":"//img11.360buyimg.com/n7/jfs/t1/181140/23/42682/127918/65f57aaeFac864a94/c2dbfdddc0a45d1a.jpg","price":35.0,"shopName":"麦富迪京东自营旗舰店","stock":1000,"title":"麦富迪 宠物狗狗零食 成犬幼犬训狗奖励鸡肉干400g 鸡肉味 全阶段 宠物","updateTime":1680094862,"views":0}}]},"aggregations":{"sterms#distinctCateName":{"doc_count_error_upper_bound":0,"sum_other_doc_count":0,"buckets":[]}}}

可以看到有数据，但是聚合函数为空。

附带上代码：

public List<HashMap<String, Object>> getCategoryList() {

        SearchRequest searchRequest = new SearchRequest(EsIndex.GOODS.getValue());
        // 创建一个搜索源构建器，用于构建搜索请求的主体部分
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        // ### 定义聚合条件，按cate_name字段分组
        // 聚合名称
        String termsName = "distinctCateName";
        TermsAggregationBuilder aggregation = AggregationBuilders.terms(termsName).field("cate_name.keyword");
        searchSourceBuilder.aggregation(aggregation);
        searchRequest.source(searchSourceBuilder);

        try {
            SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);

            ParsedStringTerms categories = response.getAggregations().get(termsName);
            ArrayList<HashMap<String, Object>> result = new ArrayList<>();
            System.out.println(
                    categories.getBuckets()
            );

            // // 遍历每个具体的分组及其包含的结果
            // for (Terms.Bucket bucket : categories.getBuckets()) {
            //     HashMap<String, Object> cateMap = new HashMap<>();
            //     cateMap.put("name", bucket.getKeyAsString());
            //     cateMap.put("value", bucket.getKeyAsString());
            //     result.add(cateMap);
            // }

            return result;
        } catch (CustomizeException exception) { // 自定义异常一般是对外暴露的异常错误
            throw new CustomizeException(exception.getCode(), exception.getMessage(), exception);
        } catch (Exception exception) { // 全局异常处理500不打算对外暴露的异常错误
            throw new CustomizeException(500, exception.getMessage(), exception);
        }
    }

解决：

        原因是：字段问题，由于我使用的实体类bean写入ES，字段名都是大写，但是实际ES中是小写，但是实际写入也不会报错。

        查看es字段列表：

GET goods
# 打印结果：
{
  "goods" : {
    "aliases" : { },
    "mappings" : {
      "properties" : {
        "cate_name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword"
            }
          },
          "analyzer" : "ik_max_word"
        },
        "cate_name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "create_time" : {
          "type" : "date"
        },
        "description" : {
          "type" : "keyword",
          "index" : false
        },
        "full_text_search" : {
          "type" : "text",
          "copy_to" : [
            "title",
            "cate_name",
            "shop_name"
          ],
          "analyzer" : "ik_max_word"
        },
        "id" : {
          "type" : "keyword"
        },
        "image" : {
          "type" : "keyword",
          "index" : false
        },
        "price" : {
          "type" : "scaled_float",
          "scaling_factor" : 100.0
        },
        "shopName" : {
          "type" : "text",
          "analyzer" : "ik_max_word"
        },
        "shop_name" : {
          "type" : "text",
          "fields" : {
            "keyword" : {
              "type" : "keyword",
              "ignore_above" : 256
            }
          }
        },
        "status" : {
          "type" : "short"
        },
        "stock" : {
          "type" : "integer"
        },
        "title" : {
          "type" : "text",
          "analyzer" : "ik_max_word"
        },
        "update_time" : {
          "type" : "date"
        },
        "views" : {
          "type" : "integer"
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "goods",
        "creation_date" : "1712113365252",
        "number_of_replicas" : "1",
        "uuid" : "UyIaiESoTSyhWJO4CuhZnw",
        "version" : {
          "created" : "7120199"
        }
      }
    }
  }
}

可以看到cate name是驼峰法，所以重建索引改为驼峰法即可。

# 删除索引
DELETE goods

PUT goods
{
  "properties": {
    "id": {
      "type": "keyword"
    },
    "cateName": {
      "type": "text",
      "analyzer": "ik_max_word",
      "fields": {
        "keyword": {
          "type": "keyword"
        }
      }
    },
    "title": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "image": {
      "type": "keyword",
      "index": false
    },
    "description": {
      "type": "keyword",
      "index": false
    },
    "price": {
      "type": "scaled_float",
      "scaling_factor": 100
    },
    "stock": {
      "type": "integer"
    },
    "views": {
      "type": "integer"
    },
    "status": {
      "type": "short"
    },
    "createTime": {
      "type": "date"
    },
    "updateTime": {
      "type": "date"
    },
    "shopName": {
      "type": "text",
      "analyzer": "ik_max_word"
    },
    "fullTextSearch": {
      "type": "text",
      "analyzer": "ik_max_word",
      "copy_to": [
        "title",
        "cate_name",
        "shop_name"
      ]
    }
  }
}

wpj130
关注
专栏目录
ElasticSearch 聚合查询-脚本
酆都城博客
08-29 490
ElasticSearch 聚合查询-脚本 •指标聚合：相当于MySQL的聚合函数。max、min、avg、sum等 •桶聚合：相当于MySQL的 group by 操作。不要对text类型的数据进行分组，会失败。 就是将 查询结果进行分组显示在控制台，对查询结果进行，求和统计、最大值、最小值、平均值等函数方面的计算查询。 # 聚合查询 # 指标聚合 聚合函数 GET goods/_search { "query": { "match": { "title": "手机"
记一次ES查询数据突然变为空的问题
黄鹰的专栏
11-05 3117
基本环境 elasticsearch版本：6.3.1 客户端环境：kibana 6.3.4、Java8应用程序模块。其中kibana主要用于数据查询诊断和查阅日志，Java8为主要的客户端，数据插入和查询都是由Java实现的。 案例介绍 使用elasticsearch存储订单的主要信息，document内的field，基本上是long或keyword，创建索引的order.json文件如下...
Elasticsearch 数据搜索篇·【入门级干货】
xingoo
11-15 570
ES即简单又复杂，你可以快速的实现全文检索，又需要了解复杂的REST API。本篇就通过一些简单的搜索命令，帮助你理解ES的相关应用。虽然不能让你理解ES的原理设计，但是可以帮助你理解ES，探寻更多的特性。 其他相关的内容参考：Elasticsearch官方文档翻译 样例数据 为了更好的使用和理解ES，没有点样例数据还是不好模拟的。这里提供了一份官网上的数据，account...
ElasticSearch Terms Aggregation 聚合
Gler.的博客
02-03 3499
ElasticSearch（后续简称为ES）提供了对数据的统计分析服务。在之前的开发中使用Terms Aggregation 对数据进行聚合统计，遇到了一些问题，查阅了ES的官方文档Terms Aggregation的Size用法。 博文内容参考或引用自ElasticSearch 7.6 官方文档 一、聚合基本概念 ES 聚合的两个主要概念： 桶（Buckets）：满足特定条件的文档的集合 指标（Metrics）：对桶内的文档进行统计计算 每个聚合都是一个或者多个桶和另个或者多个指标的组合，用粗略的SQ
es dsl 空值和有值的匹配
u010325193的博客
12-06 3140
非空匹配 返回在原始字段中至少有一个非空值的文档： 比如下面的字段都因为有值而被匹配 { "user": "jane" } { "user": "" } ① { "user": "-" } ② { "user": ["jane"] } { "user": ["jane", null ] }
踩坑记录：es中存在数据，查询却无数据
南城的博客
04-13 7690
问题 情况大概是这样的 新需求，新建了一个索引，往索引里入了点数据后开始写查询接口。CRUD接口嘛，我的拿手绝活，刷刷两下就写好了。然后开始测试，发现死活查不出数据来，接口也没报错。 然后我打印出了生成的查询语句用elastic-head查询 这不没毛病吗？我当时整一个人就是懵逼的 解决 反复各种检查，都没发现任何问题，连的也都是同一个库。 后来询问大佬终于找到了解决方案，吧索引删除一次重新建就OK了。至今也不知道为啥，但是这么做就好了。 ...
【elasticsearch】记录ES查询数据结果为空的问题（单个字搜索可以，词语搜索为空）
No8g攻城狮的博客
09-13 7331
使用存储设备列表的主要信息，document内的field，基本上是integer或keyword，es自动创建的索引如下：{},},},},},"id" : {},},"sn" : {}}}}}而部署在开发环境里的es{},},},}},},},},},"sn" : {}}}}}以上字段，只需要关注即可。因为搜索是根据此字段检索数据的。可以很清楚的看到字段使用了 ik分词器（）。问题虽小，但一定要追溯源头，比如此次测试环境的不规范操作。
elasticsearch查询某个字段为空值的结果
阿正的博客
03-03 9167
传统sql查询返回某个字段为空值的结果写法是select * from 表名 where 字段名 is null 在elasticsearch中查询语句为 GET index/type/_search { "query": { "bool": { "must_not": { "exists": { "field": "字段名" ...
【es聚合查询失败报字段为空错误】
zhuziwan的博客
04-28 645
查询资料说，keyword字段支持的最大长度是–32766个utf-8字符，可以通过ignore_above指定字符长度，超过长度后的数据将不被索引到。es5.0之后，mapping的时候会默认生成text和keyword类型，keyword类型默认长度256,修改映射的模版即可。聚合的都是keyword字段，太长的都聚合失败返回空，考虑可能和数据类型和长度有关。：这个字段有为空，有不为空的，为空报错很正常，但是不为空应该都可以聚合出来。查看一下关注的聚合字段，的确是有长度256限制。
java对es做聚合查询_java操作elasticsearch实现聚合查询
weixin_34244326的博客
02-27 5465
1、max 最大值//max 求最大值@Testpublic void test30() throws UnknownHostException{//1、指定es集群 cluster.name 是固定的key值，my-application是ES集群的名称Settings settings = Settings.builder().put("cluster.name", "my-applicat...
PHP中 对es中的数据分页 查询
04-16
在IT行业中，尤其是在大数据处理和搜索引擎领域，Elasticsearch（简称ES）是一个极其重要的工具。它是一个基于Lucene的开源全文搜索引擎，具有分布式、实时、高可扩展性以及灵活的数据模型等特点。PHP作为广泛使用的...
es从行json文件中查询相关内容
12-04
标题 "es从行json文件中查询相关内容" 涉及的是使用Elasticsearch（简称ES）从JSON格式的行文件中检索数据。Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，常用于实时的全文检索、分析和存储。在...
java操作es聚合操作并显示其他字段_ElasticSearch Aggregations使用总结详解
weixin_35931648的博客
12-23 4102
1.单字段情况下聚合假设只需要对一个字段聚合，比如b字段，b字段是keyword类型，需要考虑的情况最为简单，当要对b字段聚合时语句很好写，如下即可{"from": 0,"size": 0,"query": {"bool": {"must": [{"bool": {"should": [{"terms": {"field_a": ["1", "2", "3"],"boost": 1.0}}, {"...
es 分组聚合返回结果不正确
Mrerlou的博客
04-29 2213
问题现象 在对es做group by分组聚合查询时，数据返回不正确，只能显示十条。但是应该有14个分组。 查询语句： GET /hadoop_impala*/_search { "aggs": { "qyeryTypes": { "terms": { "field": "hostId" } } } } 查询结果： "aggregations": { "qyeryTypes": { "doc_count_error_uppe
elasticsearch 查询基本结构 数组查询 对象查询 字段是否存在 是否为空
热门推荐
泛白小筑
03-23 1万+
#基本结构 { "query":{ "bool":{ "must":{ }, "must_not":{}, "filter":{}, "should":{}, "should_not":{} } } }
Spring Data ElasticSearchRestTemplete 分页查询返回为空？PageRequest原来是页码
qq_35041323的博客
05-14 1278
//page sort Sort.TypedSort<PassengerFlow> passFlowSort = Sort.sort(PassengerFlow.class); Sort sort = passFlowSort.by(PassengerFlow::getCreateTime).descending(); NativeSearchQuery nativeSearchQuery = new NativeSearchQueryBuil..
使用elasticsearch查询数据时返回的数据不稳定，时多时少，有时甚至没有
宸0313的博客
11-13 4705
在使用es做数据查询的时候出现的这个问题，将这个坑的点记录下。 在es中，有集群，节点和分片，出现上述错误，查询出来的数据不稳定的主要原因就是分片的问题，以下为一些概念： 集群: ES节点：运行的ES实例 ES集群由若干节点组成，这些节点在同一个网络内，cluster-name相同 节点: master节点：集群中的一个节点会被选为master节点，它将负责管理集群范畴...
es常用查询语句：查空串，使用must，must_not, 范围查询，term查询
健康平安的活着的专栏
04-01 1万+
一.单词查询 { "query": { "term": { "orderNo": "436476007342420270" } } } 二.查询存在的数据 { "query": { "bool": { "must": [ { "exists": { "field": "sex...
Conmi的正确答案——在Kibana中进入Elasticsearch的索引管理页面
最新发布
Conmi的博客
10-31 324
注：索引即类似mysql的表。
elasticsearch使用script进行聚合，统计数组类型字段
09-21
在Elasticsearch中，Script Aggregation是一种强大的工具，允许你在聚合阶段应用复杂的JavaScript脚本。当你需要对数组类型的字段进行统计或处理时，可以利用Script Aggregation来计算元素的数量、求和、平均值或其他自定义操作。 举个例子，假设你有一个文档集合，其中包含一个名为`tags`的数组字段，你想要计算每个文档中不同标签的数量，你可以编写这样的脚本： ```json { "aggs": { "tag_count": { "terms": { "field": "tags" }, "aggs": { "total_tags": { "scripted_metric": { "script": { "source": """ doc['tags'].size() """ } } } } } } } ``` 在这个脚本中，`doc['tags']`代表当前文档的`tags`数组，`size()`函数用于返回数组的长度，即不同标签的数量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值