ElasticSearch的评分机制详解

最新推荐文章于 2024-07-07 21:12:12 发布
最新推荐文章于 2024-07-07 21:12:12 发布
阅读量1.9k 收藏 8
点赞数 2
文章标签： 编程语言 java elasticsearch 大数据 es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29860591/article/details/109574595
版权

1． 评分机制详解

1.1． 评分机制 TF\IDF

1.1.1 算法介绍

relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度。

Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法。TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)

Term frequency：搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关。

1571494142950

举例：搜索请求：hello world

doc1 : hello you and me,and world is very good.

doc2 : hello,how are you

Inverse document frequency：搜索文本中的各个词条在整个索引的所有文档中出现了多少次，出现的次数越多，就越不相关.

1571494159465

1571494176760

举例：搜索请求：hello world

doc1 : hello ,today is very good

doc2 : hi world ,how are you

整个index中1亿条数据。hello的document 1000个，有world的document 有100个。

doc2 更相关

Field-length norm：field长度，field越长，相关度越弱

举例：搜索请求：hello world

doc1 : {"title":"hello article","content ":"balabalabal 1万个"}

doc2 : {"title":"my article","content ":"balabalabal 1万个,world"}

1.1.2 _score是如何被计算出来的

GET /book/_search?explain=true
{
  "query": {
    "match": {
      "description": "java程序员"
    }
  }
}

返回

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 2,
      "relation" : "eq"
    },
    "max_score" : 2.137549,
    "hits" : [
      {
        "_shard" : "[book][0]",
        "_node" : "MDA45-r6SUGJ0ZyqyhTINA",
        "_index" : "book",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 2.137549,
        "_source" : {
          "name" : "spring开发基础",
          "description" : "spring 在java领域非常流行，java程序员都在用。",
          "studymodel" : "201001",
          "price" : 88.6,
          "timestamp" : "2019-08-24 19:11:35",
          "pic" : "group1/M00/00/00/wKhlQFs6RCeAY0pHAAJx5ZjNDEM428.jpg",
          "tags" : [
            "spring",
            "java"
          ]
        },
        "_explanation" : {
          "value" : 2.137549,
          "description" : "sum of:",
          "details" : [
            {
              "value" : 0.7936629,
              "description" : "weight(description:java in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 0.7936629,
                  "description" : "score(freq=2.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.47000363,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 2,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.7675597,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 2.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 12.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 35.333332,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            },
            {
              "value" : 1.3438859,
              "description" : "weight(description:程序员 in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 1.3438859,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.98082924,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.6227967,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 12.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 35.333332,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      },
      {
        "_shard" : "[book][0]",
        "_node" : "MDA45-r6SUGJ0ZyqyhTINA",
        "_index" : "book",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.57961315,
        "_source" : {
          "name" : "java编程思想",
          "description" : "java语言是世界第一编程语言，在软件开发领域使用人数最多。",
          "studymodel" : "201001",
          "price" : 68.6,
          "timestamp" : "2019-08-25 19:11:35",
          "pic" : "group1/M00/00/00/wKhlQFs6RCeAY0pHAAJx5ZjNDEM428.jpg",
          "tags" : [
            "java",
            "dev"
          ]
        },
        "_explanation" : {
          "value" : 0.57961315,
          "description" : "sum of:",
          "details" : [
            {
              "value" : 0.57961315,
              "description" : "weight(description:java in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 0.57961315,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.47000363,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 2,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.56055,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 19.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 35.333332,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      }
    ]
  }
}

1.1.3 分析一个document是如何被匹配上的

GET /book/_explain/3
{
  "query": {
    "match": {
      "description": "java程序员"
    }
  }
}

1.2． Doc value

搜索的时候，要依靠倒排索引；排序的时候，需要依靠正排索引，看到每个document的每个field，然后进行排序，所谓的正排索引，其实就是doc values

在建立索引的时候，一方面会建立倒排索引，以供搜索用；一方面会建立正排索引，也就是doc values，以供排序，聚合，过滤等操作使用

doc values是被保存在磁盘上的，此时如果内存足够，os会自动将其缓存在内存中，性能还是会很高；如果内存不足够，os会将其写入磁盘上

倒排索引

doc1: hello world you and me

doc2: hi, world, how are you

termdoc1doc2
hello*
world**
you**
and*
me*
hi*
how*
are*

搜索时：

hello you --> hello, you

hello --> doc1

you --> doc1,doc2

doc1: hello world you and me

doc2: hi, world, how are you

sort by 出现问题

正排索引

doc1: { "name": "jack", "age": 27 }

doc2: { "name": "tom", "age": 30 }

documentnameage
doc1jack27
doc2tom30

1.3． query phase

1.3.1、query phase

(1)搜索请求发送到某一个coordinate node，构构建一个priority queue，长度以paging操作from和size为准，默认为10

(2)coordinate node将请求转发到所有shard，每个shard本地搜索，并构建一个本地的priority queue

(3)各个shard将自己的priority queue返回给coordinate node，并构建一个全局的priority queue

1.3.2、replica shard如何提升搜索吞吐量

一次请求要打到所有shard的一个replica/primary上去，如果每个shard都有多个replica，那么同时并发过来的搜索请求可以同时打到其他的replica上去

1.4． fetch phase

1.4.1、fetch phbase工作流程

(1)coordinate node构建完priority queue之后，就发送mget请求去所有shard上获取对应的document

(2)各个shard将document返回给coordinate node

(3)coordinate node将合并后的document结果返回给client客户端

1.4.2、一般搜索，如果不加from和size，就默认搜索前10条，按照_score排序

1.5． 搜索参数小总结

1、preference

决定了哪些shard会被用来执行搜索操作

_primary, _primary_first, _local, _only_node:xyz, _prefer_node:xyz, _shards:2,3

bouncing results问题，两个document排序，field值相同；不同的shard上，可能排序不同；每次请求轮询打到不同的replica shard上；每次页面上看到的搜索结果的排序都不一样。这就是bouncing result，也就是跳跃的结果。

搜索的时候，是轮询将搜索请求发送到每一个replica shard(primary shard)，但是在不同的shard上，可能document的排序不同

解决方案就是将preference设置为一个字符串，比如说user_id，让每个user每次搜索的时候，都使用同一个replica shard去执行，就不会看到bouncing results了

2、timeout

主要就是限定在一定时间内，将部分获取到的数据直接返回，避免查询耗时过长

3、routing

document文档路由，_id路由，routing=user_id，这样的话可以让同一个user对应的数据到一个shard上去

4、search_type

default：query_then_fetch

dfs_query_then_fetch，可以提升revelance sort精准度

dalianpai
关注
ElasticSearch评分机制
theonlytao的博客
09-11 778
最近在业务开发的过程中，需要使用到ElasticSearch搜索引擎来优化我们的小搜索（其实也算不上），我们需要根据关键字搜索出匹配的人员信息和节点信息，我们当时业务的数据量大概在200MB左右，一开始其实完全使用数据库完成这个搜索，但是随着用户量的增大（大概后期一百万左右），使用数据库完成搜索的速度之慢令人发指，大概5s左右（主要业务场景中还需要较多的表连接，导致速度变慢），所以后来我们打算采用
ElasticSearch最佳入门实践（五十八）搜索相关参数梳理以及bouncing results问题解决方案
Fireworks
11-15 671
1、preference 决定了哪些shard会被用来执行搜索操作 _primary, _primary_first, _local, _only_node:xyz, _prefer_node:xyz, _shards:2,3 bouncing results问题，两个document排序，field值相同；不同的shard上，可能排序不同；每次请求轮询打到不同的replica shar...
Elasticsearch 自定义评分和脚本评分
最新发布
Dxy1239310216的博客
07-07 684
自定义评分允许我们根据一组预定义的函数来修改每个文档的默认评分。这些函数可以基于文档的字段值、查询条件或其他因素来计算新的评分。最终，Elasticsearch会将原始评分与自定义评分结合，以决定搜索结果的排序。脚本评分允许我们使用自定义的脚本语言（如Painless）来计算文档的评分。这种方式提供了最大的灵活性，可以根据几乎任何逻辑来计算评分。自定义评分和脚本评分是Elasticsearch提供的强大功能，它们允许我们根据业务需求对搜索结果进行精细化的排序。
Elasticsearch 搜索的评分机制
weixin_34356138的博客
01-10 181
从我们在elasticsearch复合框输入搜索语句到结果显示，展现给我们的是一个按score得分从高到底排好序的结果集。下面就来学习下elasticsearch怎样计算得分。 Lucene（或 Elasticsearch）使用 布尔模型（Boolean model） 查找匹配文档， 并用一个名为 实用评分函数（practical scoring function） 的公式来计算相关度。这个公式...
ElasticSearch的评分计算
Rao的博客
07-29 914
ElasticSearch 搜素时会带有一个 _score 的数据，表示搜索出来的结果与参数之间的相关性 本文内容 ElasticSearch 的三大评分原则 ElasticSearch 了解为什么这样评分 ElasticSearch 的文本评判基础算法 ElasticSearch 的评分原则 检索词频率 该词出现的频率越大，评分越高 反向文档频率 该词如果在该索引(表)中出现的频率很高，评分会随之降低 也就是说，假如索引一共有 10 个数据，9个都含有 hello ，评分会降低 字段.
elasticsearch[七]：ES评分规则详解[查询评分规则、自定义评分规则]
丨汀、的博客
01-17 3498
elasticsearch[七]：ES评分规则详解[查询评分规则、自定义评分规则]
1-Elasticsearch开发技术详解及技术指导.rar
09-15
这份名为"1-Elasticsearch开发技术详解及技术指导.rar"的压缩包文件，显然是针对Elasticsearch的开发实践提供了一套详细的技术指南，适合初学者和有一定经验的开发者参考。 首先，我们来深入了解一下Elasticsearch...
es查询大于某个值的数据_ElasticSearch系列02：ES基础概念详解
weixin_39887386的博客
11-22 1869
1、ES 简介1)定义ES是elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂...
Elasticsearch原理（九）：相关性排序算法详解
桃花惜春风
08-20 3254
Elasticsearch中的相关性算法主要还是基于Lucene的相关性算法，Lucene的算法是基于TF-IDF的，但和TF-IDF还是有些区别。那么我们就从TF-IDF开始介绍。 TF-IDF 定义 TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)。（来源百度百科） 算法核心 TF-IDF实
ElasticSearch.docx
12-16
**Elasticsearch 知识点详解** Elasticsearch（简称ES）是一种开源的全文搜索引擎，以其高可扩展性、实时性、分布式存储和检索能力而备受推崇。它基于Lucene库构建，但提供了更高级别的服务框架，可以独立部署并...
Elastic Search实战
04-25
**Elasticsearch实战详解** Elasticsearch是一款基于Lucene的分布式、实时的搜索与分析引擎，广泛应用于日志分析、监控、数据可视化、全文检索等多个领域。它以其强大的搜索性能、高可扩展性和易用性在大数据处理...
Elasticseach的评分机制
weixin_30325487的博客
08-30 92
lucene 的评分机制 elasticsearch是基于lucene的，所以他的评分机制也是基于lucene的。评分就是我们搜索的短语和索引中每篇文档的相关度打分。 如果没有干预评分算法的时候，每次查询，lucene会基于一个评分算法来计算所有文档和搜索语句的相关评分。 使用lucene的评分机制基本能够把最符合用户需要的搜索放在最前面。 当然有的时候，我们可能想要自定义评分算法，这...
ElasticSearch7.3学习(二十四)----相关度评分机制详解
09-16 827
relevance score(相关性分数) 算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度。Elasticsearch使用的是 term frequency/inverse document frequency算法，简称为TF/IDF算法。TF词频(Term Frequency)，IDF逆向文件频率(Inverse Document Frequency)搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关。数学公司并不重要，看下面例子就清楚了。
ElasticSearch第十一讲 ES检索评分score以及分数计算逻辑
程序员路同学
04-22 1698
ElasticSearch第十一讲 ES检索评分score以及分数计算逻辑
Elasticsearch相关性打分机制学习
wssmao250的博客
07-08 147
Elasticsearch相关性打分机制学习 参考：https://www.jianshu.com/p/33ca008c9c05?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
Elasticsearch 定制评分（自定义评分）
hhhzua的专栏
07-06 2512
Elasticsearch 的相似度算法被定义为检索词频率/反向文档频率， TF/IDF 。 一. 相关概念： 检索词频率：tf 词 t 在文档 d 的词频（ tf ）是该词在文档中出现次数的平方根。 tf(t in d) = √frequency 检索词在该字段出现的频率？出现频率越高，相关性也越高。 字段中出现过 5 次要比只出现过 1 次的相关性高。 反向文档频率：idf 词 t 的逆向文档频率（ idf ）是：索引中文档数量除以所有包含该词的文档数，然后求其对数。 idf(t) = 1 +
ElasticSearch之score打分机制原理
scorpio的博客
09-20 3739
ElasticSearch之score打分机制原理
ElasticSearch自定义评分-看这篇就够了
W2044377578的博客
01-12 3969
ElasticSearch自定义评分
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值