elasticsearch聚合排序不准方案分析

最新推荐文章于 2023-06-18 15:41:03 发布
最新推荐文章于 2023-06-18 15:41:03 发布
阅读量337 收藏
点赞数
文章标签： elasticsearch 大数据 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nengm1988/article/details/128886950
版权

https://github.com/nengm/hadoop

hadoop

存放工作学习中遇到的大数据或者大数据相关中间件的解决方案，用于学习复习分享，简简单单，平平淡淡。

1、ELasticsearch 聚合排序方案

ELasticsearch进行聚合排序时，分片间是不保证能正确排序的。

接下去我们按照步骤来测试下，同时也看下整个过程。

1、安装ELasticsearch

ELasticsearch

https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-1-1

Kibana

https://www.elastic.co/cn/downloads/past-releases/kibana-7-1-1

2、jdk安装

略

3、修改hostname

vi /etc/hostname
node1
reboot

4、修改系统配置文件

vi /etc/sysctl.conf
vm.swappiness=1
vm.max_map_count=262144
vi /etc/security/limits.conf
# 进程线程数
* soft nproc 131072
* hard nproc 131072
# 文件句柄数
* soft nofile 131072
* hard nofile 131072
# 内存锁定交换
* soft memlock unlimited
* hard memlock unlimited

5、创建ES专用账号

#创建 ES 账号，如 elastic
groupadd esgroup
useradd elastic -g esgroup
passwd elastic

6、解压

tar -xzvf elasticsearch-7.1.1-linux-x86_64.tar.gz -C /opt/

7、新建数据目录与日志目录

mkdir -p /opt/elasticsearch/data
mkdir -p /opt/elasticsearch/log

8、授权

chown -R elastic:esgroup /opt/elasticsearch-7.1.1
chown -R elastic:esgroup /opt/elasticsearch-7.1.1/*
chown -R elastic:esgroup /opt/elasticsearch/*

9、修改es环境配置

cd /opt/elasticsearch-7.1.1/config

vi elasticsearch.yml
 cluster.name: es
 node.name: node1
 network.host: 192.168.52.200
 http.port: 9200
 transport.port: 9300
 path.data: /opt/elasticsearch/data
 path.logs: /opt/elasticsearch/log
 discovery.seed_hosts: ["node1:9300"]
 cluster.initial_master_nodes: ["node1:9300"]

10、必要的话还可以修改下内存，改为机器内存的一半

vi jvm.options

11、启动es服务

# 需切换为es用户
su elastic
#进入bin目录
cd /opt/elasticsearch-7.1.1/bin
# 设置后台启动
sh elasticsearch -d

12、启动

13、安装配置kibana

kibana下载地址

https://www.elastic.co/cn/downloads/past-releases/kibana-7-1-1

注意kibana版本需要和ELasticsearch版本一致

tar -xvf kibana-7.1.1-linux-x86_64.tar.gz -C /opt/

cd /opt/kibana-7.1.1-linux-x86_64/config

vi kibana.yml
server.port: 5601
server.host: "192.168.52.200"
elasticsearch.hosts: ["http://192.168.52.200:9200"]
kibana.index: ".kibana"

14、启动kibana

//切换到root用户下
su root
//修改kibana文件权限
chown -R elastic:esgroup /opt/kibana-7.1.1-linux-x86_64
chown -R elastic:esgroup /opt/kibana-7.1.1-linux-x86_64/*
//切换用户
su elastic
//进入kibana的bin下
cd /opt/kibana-7.1.1-linux-x86_64/bin
nohup ./kibana &
//访问
http://192.168.52.200:5601/

提示：’如果想关闭kibana，可以直接看下

netstat -anp|grep 5601
kill -9 进程号

15、新建索引

我们模拟一个学生选课程的场景。用Elasticsearch提取选课前5的课程。

场景：

1、假设有全校一共有5000个人。

2、其中3000人，选了前100门课，每门被选了30次。

3、其实2000人选了100后的2000门课程，每门课程被选1次。

新建索引，3分片，1副本

HttpHost host = new HttpHost("192.168.52.200", 9200);
HttpHost[] hostArray = {host};
EsManger esManger = new EsManger(hostArray);
HashMap<String,String> hashMap = new HashMap<>();
hashMap.put("rowguid","keyword");
hashMap.put("lesson","keyword");

//添加索引
esManger.addIndexAndType("studentinfo",3,1,hashMap);

16、准备数据

生产数据，为了更快的演示现象，我们使用随机路由。

//假设有全校一共有5000个人
//其中3000人，选了前100门课，每门被选了30次
for(int j = 0;j<30;j++){
    for (int i = 0; i < 100; i++) {
        List<Map<String, Object>> result = new ArrayList<>();
        String rowguid = UUID.randomUUID().toString();
        Map<String, Object> map = new HashMap<>();
        map.put("rowguid", rowguid);
        map.put("lesson", i);
        map.put("id_keyword", rowguid);
        result.add(map);
        esManager.addDocument("studentinfo", result, Integer.toString(r.nextInt(10000)));
    }
}

//其实2000人选了100后的2000门课程，每门课程被选1次
for (int i = 100; i < 2100; i++) {
            List<Map<String, Object>> result = new ArrayList<>();
            String rowguid = UUID.randomUUID().toString();
            Map<String, Object> map = new HashMap<>();
            map.put("rowguid", rowguid);
            map.put("lesson", i);
            map.put("id_keyword", rowguid);
            result.add(map);
            esManager.addDocument("studentinfo",  result, Integer.toString(r.nextInt(10000)));
        }

可以看到我们存的元素分散在各个分片上。

17、结果

按理说进行聚合得到选课最高的5门课。肯定是前100的。并且统计的count均为30.

进行测试。

POST studentinfo/_search
{
  "size":0,
  "aggs": {
    "lesson_aggs": {
      "terms": {
        "field":"lesson",
        "size":5
      }
    }
  }
}

结果如下，出乎意料，不对，前五都没有统计到30。

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 30,
    "successful" : 30,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5000,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "lesson_aggs" : {
      "doc_count_error_upper_bound" : 60,
      "sum_other_doc_count" : 4882,
      "buckets" : [
        {
          "key" : "25",
          "doc_count" : 25
        },
        {
          "key" : "11",
          "doc_count" : 24
        },
        {
          "key" : "14",
          "doc_count" : 23
        },
        {
          "key" : "27",
          "doc_count" : 23
        },
        {
          "key" : "28",
          "doc_count" : 23
        }
      ]
    }
  }
}

18、分析

原因是当elasticsearch进行聚合时会让各个每片返回top5的统计，各个节点上返回的值再进行一次聚合。而得到的值不一定是准确的，可以说是错误的。

19、解决

由于elasticsearch计算路由的公式是

shard = hash(routing) % number_of_primary_shards

所以我们只要保证相同要term的字段的使用同一个路由即可。

for(int j = 0;j<30;j++){
    for (int i = 0; i < 100; i++) {
        List<Map<String, Object>> result = new ArrayList<>();
        String rowguid = UUID.randomUUID().toString();
        Map<String, Object> map = new HashMap<>();
        map.put("rowguid", rowguid);
        map.put("lesson", i);
        map.put("id_keyword", rowguid);
        result.add(map);
        esManager.addDocument("studentinfo", result, Integer.toString(i));
    }
}

for (int i = 100; i < 2100; i++) {
    List<Map<String, Object>> result = new ArrayList<>();
    String rowguid = UUID.randomUUID().toString();
    Map<String, Object> map = new HashMap<>();
    map.put("rowguid", rowguid);
    map.put("lesson", i);
    map.put("id_keyword", rowguid);
    result.add(map);
    esManager.addDocument("studentinfo",  result, Integer.toString(i));
}

20、结果

{
  "took" : 23,
  "timed_out" : false,
  "_shards" : {
    "total" : 30,
    "successful" : 30,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5000,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "lesson_aggs" : {
      "doc_count_error_upper_bound" : 30,
      "sum_other_doc_count" : 4850,
      "buckets" : [
        {
          "key" : "0",
          "doc_count" : 30
        },
        {
          "key" : "1",
          "doc_count" : 30
        },
        {
          "key" : "10",
          "doc_count" : 30
        },
        {
          "key" : "11",
          "doc_count" : 30
        },
        {
          "key" : "12",
          "doc_count" : 30
        }
      ]
    }
  }
}
nengm88
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ES对聚合结果排序报错
sleepyocean
08-07 1571
开发环境 ElasticSearch版本： 5.6.1 问题现象 在规定时间段内对省份进行聚合，然后对每个省份出现次数做聚合sum然后进行倒序排序，当部分省份在查询时间段没有记录时会报array_index_out_of_bounds_exception错误，具体返回结果如下： 当去除对每个省份出现次数做聚合sum然后进行倒序排序的操作后，则不会出现报错 问题探究 为了保证每个省份都能显示...
Elasticsearch 查询结果排序不一致问题
dragonlicat的博客
04-04 4008
1. ES排序问题 场景： 查询ES时，两次访问查询的主备分片不同，且没有评分，返回的数据顺序不一致 官方解释如下： when two documents have the same score, they will be sorted by their internal Lucene doc id (which is unrelated to the _id) by default. Ho...
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
Elasticsearch聚合学习之五：排序结果不准的问题分析
程序员欣宸的博客
05-19 7709
Elasticsearch聚合后娶TopN的时候，经常会出现不准确的问题，今天就通过实战来分析这个问题
es 聚合操作：文本字段没有针对聚合和排序等需要每个文档字段数据的操作进行优化，因此这些操作默认是禁用的
clearlove7__a的博客
10-19 901
最后发现是因为聚合操作无法对type类型为keyword以外的数据进行操作,所以。当对es进行排序时 控制台输出建议在属性上设置fielddata=true。给排序的字段声明上一个"keyword"就解决了。以便通过反转索引来加载字段数据。但是加上之后并不能解决。
关于elasticsearch排序不准问题可能的解决方案
06-12 7492
作为未使用过es新手，前两天接到排查搜索接口价格排序不准确的任务，紧锣密鼓的配好本地环境开始调试，看来看去一句排序： $params['body']['sort']['goods_price'] = ['order' => "asc"]; 也查了官方文档，没毛病啊。无奈强制转换字段类型，又是打印各种参数，折腾好久，还是没有用！ 下班吃饭时候想到mapping的数据类型，第二天回到公...
elasticsearch aggregations_Elasticsearch聚合学习之五：排序结果不准的问题分析
weixin_40007515的博客
11-30 253
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：原创文章分类汇总及配套源码，涉及Java、Docker、K8S、Devops等Elasticsearch上的索引如果有多个分片，那么在聚合排序后取TopN时，返回的结果可能是不准的，今天我们就通过实战来研究分析此问题，并验证解决方法；环境信息以下是本次实战的环境信息，请确保您的Elast...
Elasticsearch：搜索相同内容，但评分不同，排序混乱问题解决
闫玉林的博客
08-02 1639
问题 针对搜索结果，需要根据相关度智能排序 但是对于某些文本内容相似，搜索得分一致，需要启用其他排序规则，例如时间 后面又发现，对于这些相似的文本，部分文本得分score和其他文本不同，导致排序排在了后面 以以下数据为例，对于模糊搜索“上半年经济运行”需要根据标题检索，然后得分相同的再根据时间倒序排序。但是实际上2009年的出现在第一条，2021年的在第二条，这是不允许的 [ { "createDate": "2009-07-21", "id": "7917561
Elasticsearch搜索与排序经验小记
最新发布
葵续浅笑的博客
06-18 3767
这篇文章更多的是实践经验而非es原理解析，自己经验小记下来，抛砖引玉，一得之见。
es开发之聚合数据结果不精确
ailiandeziwei的专栏
07-05 1432
1、实战开发遇到聚合问题 请教一个问题，ES 在聚合的时候发生了一个奇怪的现象聚合的语句里面size设置为10和大于10导致聚合的数量不一致，这个size不就是返回的条数吗？会影响统计结果吗？dsl语句摘要（手机敲不方便，双引号就不写了）： aggs:{topcount:{terms:{field:xx,size:10}}} 就是这个size，设置10和大于10将会导致聚合结果不一样，难道是es5.x的bug吗？ 以上是实战中的真实问题，基于这个问题，有了本篇文章。 本文探讨的聚合主要指：ter
Elasticsearch 聚合分析深入学习
01-07
类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。 Doc Values 和 Field Data 在学习聚合分析之前，我们先了解一下 Doc Values 和 Field ...
Elasticsearch聚合分析实战(2)
01-07
Elasticsearch聚合分析实战(2) 本文在前文基础上进一步通过学习度量分析和分组分析。示例数据可以点击这里下载。 环境准备 系统中提供1000条employee数据，读者可以通过POST /employees/_bulk命令批量插入至elastic...
java使用elasticsearch分组进行聚合查询过程解析
08-25
主要介绍了java使用elasticsearch分组进行聚合查询过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Elasticsearch聚合 之 Terms
06-19
Elasticsearch聚合 之 Terms
elastic search text类型字段不支持聚合查询，及解决方案
Mrerlou的博客
04-26 3082
问题现象 在对es的数据做聚合操作时，报错。 报错语句： curl -XPOST http://10.11.3.63:9200/hadoop_impala_2021-04/_search -d ' { "aggs": { "qyeryTypes": { "cardinality": { "field": "queryType" } } } }' 报错内容 { "error": { "root_cause": [{ "type":
ElasticSearch(7.8版本)聚合查询使用javaHighLevelRestClient实现(从MySQL聚合查询概念-＞ES聚合概念及实操)
weixin_43356308的博客
04-21 3361
文章目录什么是聚合操作？（MySQL）1.聚合函数2.聚合分组3.聚合筛选为什么不能在where语句中使用聚合函数，与having的区别?ES的聚合查询（在Kibana中的原生操作）1.聚合查询简介elasticsearch聚合--桶（Buckets）和指标（Metrics）的概念[3. 如何运行一个聚合查询](https://blog.csdn.net/w1014074794/article/details/120845124)4. [ElasticSearch聚合查询报错：Text fields are
关于ES的_id不能排序和聚合的误解
duzm200542901104的专栏
11-19 2989
在很多的博客里面都提到过ES的_id不能进行排序，必须使用_uid，这个提法已经过时了，通过实践可以得知，使用_id是可以排序的，并不会报错。 { "sort":[ { "_uid":{ "order":"desc" } } ] } _uid在ES的6.0.0版本已经被废弃了，为什么呢？因为在6.0版本以后，_type属性没有了，那么建立在_type之上的_...
ES 设置支持/禁用排序、聚合的mapping parameters
lzf的博客
10-15 1087
doc_values doc_values参数是为了加快排序、聚合操作，在建立倒排索引的时候，额外增加一个列式存储映射，是一种空间换时间的做法。默认是开启的，大多数字段在索引时都会生成doc_values，但是text字段除外。对于确定不需要排序或者聚合的字段，可以关闭doc_values以节省磁盘空间。 PUT my_index { "mappings": { "propert...
Elasticsearch 聚合数据结果不精确问题解决方案
Y_eatMeat的博客
06-02 2182
近期我们项目中出现使用ES聚合某个索引的数据取TOP 10的数据和相同条件下查询所有数据然后按数据量排序取的TOP 10的数据不一致的问题。下面我们简单分析一下这个问题，列出一些常见的解决方案。
es 排序 聚合统计_elasticsearch聚合统计出现次数
05-13
在 Elasticsearch 中，可以使用聚合（Aggregation）实现对文档进行聚合统计，其中包括出现次数的统计。下面是一个示例： 假设我们有一个名为 "sales" 的索引，包含以下文档： ``` { "product": "A", "price": ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值