46_ElasticSearch 易并行聚合算法，三角选择原则，近似聚合算法

46_ElasticSearch易并行聚合算法，三角选择原则，近似聚合算法

更多干货

• 分布式实战（干货）
• spring cloud 实战（干货）
• mybatis 实战（干货）
• spring boot 实战（干货）
• React 入门实战（干货）
• 构建中小型互联网企业架构（干货）
• python 学习持续更新
• ElasticSearch 笔记

一、概述

• 易并行聚合算法：max
• 有些聚合分析的算法，是不好并行的，比如说，count(distinct)

易并行算法

有些聚合分析的算法，是很容易就可以并行的，比如说max 

不好并行算法

有些聚合分析的算法，是不好并行的，比如说，count(distinct)，并不是说，在每个node上，直接就出一些distinct value，就可以的，因为数据可能会很多 

• es会采取近似聚合的方式，就是采用在每个node上进行近估计的方式，得到最终的结论，cuont(distcint)，100万，1050万/95万 --> 5%左右的错误率
• 近似估计后的结果，不完全准确，但是速度会很快，一般会达到完全精准的算法的性能的数十倍

二、三角选择原则

精准+实时+大数据 --> 选择2个

• 1、精准+实时: 没有大数据，数据量很小，那么一般就是单击跑，随便你则么玩儿就可以
• 2、精准+大数据：hadoop，批处理，非实时，可以处理海量数据，保证精准，可能会跑几个小时
• 3、大数据+实时：es，不精准，近似估计，可能会有百分之几的错误率

三、近似聚合算法

• 如果采取近似估计的算法：延时在100ms左右，0.5%错误
• 如果采取100%精准的算法：延时一般在5s~几十s，甚至几十分钟，几小时， 0%错误

跟多相关

• ElasticSearch 笔记

• 1_ElasticSearch使用term filter来搜索数据

• 2_ElasticSearch filter执行原理 bitset机制与caching机制

• 3_ElasticSearch 基于bool组合多个filter条件来搜索数据

• 4_ElasticSearch 使用terms搜索多个值

• 5_ElasticSearch 基于range filter来进行范围过滤

• 6_ElasticSearch 控制全文检索结果的精准度

• 7_ElasticSearch term+bool实现的multiword搜索原理

• 8_基于boost的搜索条件权重控制

• 9_ElasticSearch 多shard场景下relevance score不准确

• 10_ElasticSearch dis_max实现best fields策略进行多字段搜索

• 11_ElasticSearch 基于tie_breaker参数优化dis_max搜索效果

• 12_ElasticSearch multi_match语法实现dis_max+tie_breaker

• 13_ElasticSearch multi_match+most fiels策略进行multi-field搜索

• 14_ElasticSearch 使用most_fields策略进行cross-fields search

• 15_ElasticSearch copy_to定制组合field进行cross-fields搜索

• 16_ElasticSearch 使用原生cross-fiels 查询

• 17_ElasticSearch phrase matching搜索

• 18_ElasticSearch 基于slop参数实现近似匹配

• 19_ElasticSearch 使用match和近似匹配实现召回率与精准度的平衡

• 20_ElasticSearch rescoring机制优化近似匹配搜索的性能

• 21_ElasticSearch 前缀搜索、通配符搜索、正则搜索

• 22_ElasticSearch 搜索推荐match_phrase_prefix实现search-time

• 23_ElsaticSearch 搜索推荐ngram分词机制实现index-time更多干货

• 24_ElasticSearch TF&IDF算法以及向量空间模型

• 25_ElasticSearch 揭秘lucene的相关度分数算法

• 26_ElasticSearch 四种常见的相关度分数优化方法

• 27_ElasticSearch用function_score自定义相关度分数算法

• 28_ElasticSearch误拼写时的fuzzy模糊搜索技术

• 29_ElasticSearchIK中文分词器的安装和使用

• 30_ElasticSearch IK分词器配置文件 以及自定义词库

• 31_ElasticSearch 修改IK分词器源码来基于mysql热更新词库

• 32_ElasticSearch bucket与metric两个核心概念

• 33_ElasticSearch 统计销量最高

• 34_ElasticSearch bucket+metric：统计每种分组中的平均值

• 35_ElasticSearch bucket嵌套实现颜色+品牌的多层下钻分析

• 36_ElasticSearch 统计每种颜色电视最大最小价格

• 37_ElasticSearch hitogram按价格区间统计电视销量和销售额

• 38_ElasticSearch date hitogram之统计每月电视销量

• 39_ElasticSearch 下钻分析之统计每季度每个品牌的销售额

• 40 ElasticSearch 搜索+聚合：统计指定品牌下每个颜色的销量

• ElasticSearchIK中文分词器的安装和使用

• 日志管理ELK