elasticsearch评分所用到的算法

最新推荐文章于 2024-04-30 15:17:17 发布
最新推荐文章于 2024-04-30 15:17:17 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 技术使用总结 elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44993313/article/details/106224031
版权

1、算法介绍

relevance /ˈreləvəns/ score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度

Elasticsearch使用的是 term frequency /ˈfriːkwənsi/ /inverse document frequency算法，简称为TF/IDF算法

Term frequency：搜索文本中的各个词条在field文本中出现了多少次，出现次数越多，就越相关

搜索请求：hello world

doc1：hello you, and world is very good
doc2：hello, how are you
doc1 中 满足 hello，word 俩个词条， doc2中仅满足hello 所以doc1越相关。分数越高

Inverse document frequency：搜索文本中的各个词条在整个索引的所有文档中出现了多少次，出现的次数越多，就越不相关

搜索请求：hello world

doc1：hello, today is very good
doc2：hi world, how are you

比如说，在index中有1万条document，hello这个单词在所有的document中，一共出现了1000次；world这个单词在所有的document中，一共出现了100次

doc2更相关
因为doc1中满足条件的是 hello 而hello出现的概率较大，world在整个文档中出现的概率更小一些，所以doc2更加相关 doc2的分就越高

Field-length norm：field长度，field越长，相关度越弱

搜索请求：hello world

doc1：{ “title”: “hello article”, “content”: “babaaba 1万个单词” }
doc2：{ “title”: “my article”, “content”: “blablabala 1万个单词，hi world” }

hello world在整个index中出现的次数是一样多的

doc1更相关，title field更短
同理，因为doc1中title字段中的文字更少，满足条件的概率也就更低，相关性就越高，所以doc1的分越高

2、_score是如何被计算出来的

elasticsearch中通过TF&IDF算法算出相应的评分信息

通过explain=true 可以查看满足搜索条件的词条详细得分情况

GET raven_index/_search?explain=true
{
  "query": {
    "match": {
      "address": "中国陕西西安西南角色"
    }
  }
}


{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : 2.9424875,
    "hits" : [
      {
        "_shard" : "[raven_index][0]",
        "_node" : "rdTRZzVlQwKe0JWnYKyylA",
        "_index" : "raven_index",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 2.9424875,
        "_source" : {
          "address" : "陕西西安",
          "age" : 18,
          "name" : "王宝强"
        },
        "_explanation" : {
          "value" : 2.9424875,
          "description" : "sum of:",
          "details" : [
            {
              "value" : 0.9808292,
              "description" : "weight(address:陕西 in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 0.9808292,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.98082924,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.45454544,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            },
            {
              "value" : 0.9808292,
              "description" : "weight(address:西西 in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 0.9808292,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.98082924,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.45454544,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            },
            {
              "value" : 0.9808292,
              "description" : "weight(address:西安 in 0) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 0.9808292,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.98082924,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.45454544,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      },
      {
        "_shard" : "[raven_index][0]",
        "_node" : "rdTRZzVlQwKe0JWnYKyylA",
        "_index" : "raven_index",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 1.135697,
        "_source" : {
          "address" : "中国上海",
          "age" : 20,
          "name" : "王祖蓝"
        },
        "_explanation" : {
          "value" : 1.135697,
          "description" : "sum of:",
          "details" : [
            {
              "value" : 1.135697,
              "description" : "weight(address:中国 in 1) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 1.135697,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.98082924,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.5263158,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 2.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      },
      {
        "_shard" : "[raven_index][0]",
        "_node" : "rdTRZzVlQwKe0JWnYKyylA",
        "_index" : "raven_index",
        "_type" : "_doc",
        "_id" : "3",
        "_score" : 0.86312973,
        "_source" : {
          "address" : "广西南宁",
          "age" : 30,
          "name" : "王祖贤"
        },
        "_explanation" : {
          "value" : 0.86312973,
          "description" : "sum of:",
          "details" : [
            {
              "value" : 0.86312973,
              "description" : "weight(address:西南 in 2) [PerFieldSimilarity], result of:",
              "details" : [
                {
                  "value" : 0.86312973,
                  "description" : "score(freq=1.0), product of:",
                  "details" : [
                    {
                      "value" : 2.2,
                      "description" : "boost",
                      "details" : [ ]
                    },
                    {
                      "value" : 0.98082924,
                      "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                      "details" : [
                        {
                          "value" : 1,
                          "description" : "n, number of documents containing term",
                          "details" : [ ]
                        },
                        {
                          "value" : 3,
                          "description" : "N, total number of documents with field",
                          "details" : [ ]
                        }
                      ]
                    },
                    {
                      "value" : 0.4,
                      "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                      "details" : [
                        {
                          "value" : 1.0,
                          "description" : "freq, occurrences of term within document",
                          "details" : [ ]
                        },
                        {
                          "value" : 1.2,
                          "description" : "k1, term saturation parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 0.75,
                          "description" : "b, length normalization parameter",
                          "details" : [ ]
                        },
                        {
                          "value" : 4.0,
                          "description" : "dl, length of field",
                          "details" : [ ]
                        },
                        {
                          "value" : 3.0,
                          "description" : "avgdl, average length of field",
                          "details" : [ ]
                        }
                      ]
                    }
                  ]
                }
              ]
            }
          ]
        }
      }
    ]
  }
}

大神详解 ：https://blog.csdn.net/molong1208/article/details/50623948/

3、分析一个document是如何被匹配上的

通过查看指定的文档是如何被匹配上的，是否会被匹配

es.7版本 官方已经不建议指定type 所以直接使用 get 索引名/_explain/id 进行判断

es 5版本 则通过 get 索引名/类型/id/_explain进行查看

GET raven_index/_explain/1
{
  "query": {
    "match": {
      "address": "中国陕西西安西南角色"
    }
  }
}

GET /test_index/test_type/6/_explain
{
  "query": {
    "match": {
      "test_field": "test hello"
    }
  }
}
树叶要走风怎么挽留
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch第十一讲 ES检索评分score以及分数计算逻辑
程序员路同学
04-22 1602
ElasticSearch第十一讲 ES检索评分score以及分数计算逻辑
基于分布式ElasticSearch相似内容比对算法研究.pdf
08-08
#资源达人分享计划#
Elasticsearch：探索 11 种流行的机器学习算法
最新发布
Elastic 中国社区官方博客
04-30 1088
过去几年中，机器学习（ML）已经悄然成为我们日常生活中不可或缺的一部分。它影响着从购物网站和流媒体网站上的个性化推荐，到保护我们的收件箱免受我们每天收到的大量垃圾邮件的侵扰。但它不仅仅是我们便利的工具。在当前的技术格局中，机器学习已变得至关重要，而且看起来这种情况不会很快改变。它被用来在数据中解锁隐藏的见解，自动化任务和过程，增强决策制定，并推动创新的边界。这项技术的核心是。这些基本上是被设计用来从数据中学习而不需要针对各个任务进行明确编程的计算机程序。
elasticsearch[七]：ES评分规则详解[查询评分规则、自定义评分规则]
丨汀、的博客
01-17 2768
elasticsearch[七]：ES评分规则详解[查询评分规则、自定义评分规则]
ElasticSearch之score打分机制原理
scorpio的博客
09-20 3325
ElasticSearch之score打分机制原理
elasticsearch打分解析
zhaokuner的专栏
05-12 858
默认得分 按照逻辑关系命中后相加得分，查看数值，tfidf多少分，tfnorm归一化后多少分 GET / demo_index/ _search { explain": true, "query": { "match": { "title": "标题" } } } // explain": true 这个显示具体得分是如何来的 权重 多字段查询时权重 GET / demo_index / _search { "query": { "multi_match": { "
【大数据----ElasticSearch】Elasticsearch打分策略详解与explain手把手计算
Sunny
06-03 582
一、目的 一个搜索引擎使用的时候必定需要排序这个模块，一般情况下在不选择按照某一字段排序的情况下，都是按照打分的高低进行一个默认排序的，所以如果正式使用的话，必须对默认排序的打分策略有一个详细的了解才可以，否则被问起来为什么这个在前面，那个在后面不好办，因此对Elasticsearch的打分策略详细的看了下，虽然说还不是了解的很全部，但是大部分都看的差不多了，结合理论以及搜索的结果，做一个简单的...
一个简单的电影推荐网站，基于爬取的豆瓣电影数据和协同过滤算法
12-29
这可能涉及到全文搜索引擎如Elasticsearch的使用，或者利用Django内置的查询机制。 最后，网站部署是必不可少的环节，可以选择本地服务器或云服务如AWS、阿里云等。部署过程中需要注意配置数据库、设置环境变量、...
基于MongoDB+Spark+ElasticSearch的电影推荐系统.zip
09-03
本项目是基于MongoDB、Spark和ElasticSearch构建的一个电影推荐系统，这三者都是大数据处理和分析领域的重要工具。MongoDB是一个强大的NoSQL数据库，适用于处理非结构化和半结构化数据；Spark是一个分布式计算框架，...
java实时业务风控系统.rar
10-19
可以使用Elasticsearch、Kibana或Grafana构建可视化仪表板，展示关键指标，如风险评分分布、报警数量、处理速度等。 7. **可扩展性与高可用性**: 考虑到风控系统的业务关键性，系统设计需具备高度的可扩展性和高...
知乎实现全文检索
01-07
通常，关系型数据库如MySQL或PostgreSQL可以用于基础数据存储，但为了全文检索，我们可能需要用到NoSQL数据库，例如MongoDB或Elasticsearch，它们提供了更强大的全文索引和搜索功能。 2. **数据预处理**：在将数据...
movie-recommend
05-08
Java的Elasticsearch客户端可以方便地集成到应用中，实现高效的全文检索和相关性排序。 8. Web服务接口：为了让用户通过网页或移动应用访问，电影推荐服务通常会提供RESTful API。Spring Boot框架可以简化这一过程...
Elasticsearch相关度评分算法
不见其长，日有所长
11-12 1969
1. 相关度评分算法的组成 对于Elasticsearch而言，相关度评分的计算规则通过三部分组成: boolean model，TF/IDF，Vector space model。这三个部分没有所谓的权重，它们是平等的，计算时逐层推进。 1.1 boolean model boolean model是相关度分数计算的第一步操作。 Elasticsearch搜索时，首先根据搜索条件，过滤出符合条件的document，此时Elasticsearch不会做任何的相关度分数计算，仅仅只记录true或false，标
【Elasticsearch】打分策略详解与explain手把手计算
热门推荐
molong1208的专栏
02-02 3万+
Elasticsearch打分公式的计算，ES的打分与Lucene的不同之处，如何跟explain的计算对照上，手把手教你如何手算explain分数
【HBZ分享】ES的评分score机制的原理
a645293829的博客
08-10 961
ES的评分score机制的原理
ES框架--ES评分规则详解
qq_51641196的博客
04-10 3092
一、需求因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究ES本身的评分规则从而想办法把评分统一。省流：无法确切统一化二、ES查询评分规则之前有说过ES的查询评分原理，那么仔细思考之后就会发现，长文本搜索对应的score会比短文本搜索的score高很多：score=单个分词评分之和，长文本对应的词更多那么score就会更多。通过在查询中设置参数”explain”:true来查看具体的分数来...
ElasticSearch系列六：ElasticSearch搜索技术深入讲解（二）
qq_40595922的博客
10-07 429
讲解es文档分值_score计算,ik分词器的工作原理和集群脑裂的问题
5000字详述Elasticsearch倒排索引算法(建议收藏)
a934079371的博客
09-09 2563
来源：博客园链接：https://www.cnblogs.com/dreamroute/p/8484457.html介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引...
elasticsearch评分
09-04
此外，Elasticsearch还提供了一些其他的评分算法和技术，如boosting和negative boost。使用boosting可以调整词条在相关度分数计算中的比值，从而影响排序结果。而negative boost可以降低某些词条的相关度分数，以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值