Lucene评分公式推到

最新推荐文章于 2020-08-20 23:30:50 发布
最新推荐文章于 2020-08-20 23:30:50 发布
阅读量451 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tongnan_1984/article/details/50432109
版权
1.Lucene 评分公式
图片
Lucene的评分采用向量空间模型，向量空间模型对应数学公式点积。
看似很复杂的公式，其实就是通过点积推导，再加入一些辅助信息得到Lucene评分公式。

2.点积
复习一下点积的公式
设矢量A=[a1,a2,...an]，B=[b1,b2...bn] 
则矢量A和B的内积表示为: 
A·B=a1×b1+a2×b2+……+an×bn 
A·B = |A| × |B| × cosθ 
|A|=(a1^2+a2^2+...+an^2)^(1/2); 
|B|=(b1^2+b2^2+...+bn^2)^(1/2). 
其中，|A| 和 |B| 分别是向量A和B的模，是θ向量A和向量B的夹角（θ∈[0,π]）

3.向量空间模型对应点积
我们把文档看做一系列term,每一个term都有一个term weight,不同term在文档中的权重来影响文档的相关性计算。
于是我们把文档中所有term的term weight看做一个向量。
Document = {term1,term2,term3 ... termN}
Document Vector = {term1 weight,term2 weight,term3 weight,... termN weight}

同理我们把查询页看做一个文档，也用向量表示：
Query = {term1,term2,term3 ... termN}
Query Vector = {term1 weight,term2 weight,term3 weight ... termN weight}

我们把所有搜索文档的的向量和查询文档文档放入一个N为空间。
图片

两个向量夹角越小，相似度越高。
根据点积的公式：
 
图片

4.向量空间模型推导过程
图片

(1)分子部分推导
需要了解两个预备知识：
(a)当某个term不在查询语句出现的时候，w(t1,q)=0,当某个term不在文档出现的时候,w(t1,d)=0
(b)权重计算公式 weight = tf * idf

Vq*Vd = w(t1, q)*w(t1, d) + w(t2, q)*w(t2, d) + …… + w(tn ,q)*w(tn, d)

把w的公式代入，则为

Vq*Vd = tf(t1, q)*idf(t1, q)*tf(t1, d)*idf(t1, d) + tf(t2, q)*idf(t2, q)*tf(t2, d)*idf(t2, d) + …… + tf(tn ,q)*idf(tn, q)*tf(tn, d)*idf(tn, d)


在这里有三点需要指出：

  • 由于是点积，则此处的t1, t2, ……, tn只有查询语句和文档的并集有非零值，只在查询语句出现的或只在文档中出现的Term的项的值为零。
  • 在查询的时候，很少有人会在查询语句中输入同样的词，因而可以假设tf(t, q)都为1
  • idf是指Term在多少篇文档中出现过，其中也包括查询语句这篇小文档，因而idf(t, q)和idf(t, d)其实是一样的，是索引中的文档总数加一，当索引中的文档总数足够大的时候，查询语句这篇小文档可以忽略，因而可以假设idf(t, q) = idf(t, d) = idf(t)

基于上述三点，点积公式为：

Vq*Vd = tf(t1, d) * idf(t1) * idf(t1) + tf(t2, d) * idf(t2) * idf(t2) + …… + tf(tn, d) * idf(tn) * idf(tn)

我们现在假设t等于1,那么Vq * Vd = 图片


(2)分母部分推导

#|Vq|推导过程

查询语句中tf都为1，idf都忽略查询语句这篇小文档

图片


上面这个是数学模型，实际上Lucene这里稍微做了下改变：

图片  =   图片  

对用Lucene公式的queryNorm(q)


#|Vd|推导

图片

在默认状况下，Lucene采用DefaultSimilarity，认为在计算文档的向量长度的时候，每个Term的权重就不再考虑在内了，而是全部为一,

所以推导如下：

图片


上面这个是数学模型，实际是Lucene这里做了下改动

图片  = 图片

对应Lucene公式的lengthNorm(t.field in d)


经过合并后


对于搜索词来说所有的调节因子都是一样的，所以推导后


因为t in q词的个数等于t in d词的个数，因此合并之后等于：



替换后等于


再加上再加上各种boost和coord，则可得出Lucene的打分计算公式，

本地图片，请重新上传

至此，推导过程完毕。


5.评分公式的Lucene实现

Lucene的推导过程已经完毕，讨论下评分公式Lucene具体的实现

(1)tf

含义:就是该词的域的频率

Lucene默认实现:
 

本地图片，请重新上传

(2)idf 

含义:逆文档频率

Lucene默认实现:



(3)lengthNorm(t.field in d)

含义:搜索词在文档的协调因子

Lucene默认实现:

lengthNorm(field) = (1.0 / Math.sqrt(numTerms))

lucene还要对这个值进行一步规格化处理。处理过程大概是定义一个因子数组，

然后找对最接近这个因子的数值。


(4)queryNorm(q)

含义:查询调节因子

Lucene默认实现:

queryNorm(q) = 1.0 / Math.sqrt(sumOfSquaredWeights)

sumOfSquaredWeights = (idf * boost)^2


(5)boost(t.field in d)

含义:查询词在文档的权重


(6)coord(q d)

含义:搜索词匹配文档词的比率

lucene默认实现:

coord(q d) = match d word count/q word count


6.验证评分公式

(1)准备数据

#索引数据
 

本地图片，请重新上传#分词

采用StandardAnalyzer分词


#查询词

依云t

分词结果是 依-云-t,三个


(2)测试方法

通过Lucene的explainnation类打印评分结果


(3)查看结果

5169----依云矿泉水喷雾50ml

0.09081932 = (MATCH) product of:

  0.13622898 = (MATCH) sum of:

    0.06811449 = (MATCH) weight(title:依 in 0), product of:

      0.30599588 = queryWeight(title:依), product of:

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.42957768 = queryNorm

      0.22259936 = (MATCH) fieldWeight(title:依 in 0), product of:

        1.0 = tf(termFreq(title:依)=1)

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.3125 = fieldNorm(field=title, doc=0)

    0.06811449 = (MATCH) weight(title:云 in 0), product of:

      0.30599588 = queryWeight(title:云), product of:

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.42957768 = queryNorm

      0.22259936 = (MATCH) fieldWeight(title:云 in 0), product of:

        1.0 = tf(termFreq(title:云)=1)

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.3125 = fieldNorm(field=title, doc=0)

  0.6666667 = coord(2/3)

5170----依云矿泉水喷雾150ml

0.09081932 = (MATCH) product of:

  0.13622898 = (MATCH) sum of:

    0.06811449 = (MATCH) weight(title:依 in 1), product of:

      0.30599588 = queryWeight(title:依), product of:

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.42957768 = queryNorm

      0.22259936 = (MATCH) fieldWeight(title:依 in 1), product of:

        1.0 = tf(termFreq(title:依)=1)

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.3125 = fieldNorm(field=title, doc=1)

    0.06811449 = (MATCH) weight(title:云 in 1), product of:

      0.30599588 = queryWeight(title:云), product of:

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.42957768 = queryNorm

      0.22259936 = (MATCH) fieldWeight(title:云 in 1), product of:

        1.0 = tf(termFreq(title:云)=1)

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.3125 = fieldNorm(field=title, doc=1)

  0.6666667 = coord(2/3)

5171----依云矿泉水喷雾你你你你你你你你300ml

0.072655454 = (MATCH) product of:

  0.10898318 = (MATCH) sum of:

    0.05449159 = (MATCH) weight(title:依 in 2), product of:

      0.30599588 = queryWeight(title:依), product of:

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.42957768 = queryNorm

      0.17807949 = (MATCH) fieldWeight(title:依 in 2), product of:

        1.0 = tf(termFreq(title:依)=1)

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.25 = fieldNorm(field=title, doc=2)

    0.05449159 = (MATCH) weight(title:云 in 2), product of:

      0.30599588 = queryWeight(title:云), product of:

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.42957768 = queryNorm

      0.17807949 = (MATCH) fieldWeight(title:云 in 2), product of:

        1.0 = tf(termFreq(title:云)=1)

        0.71231794 = idf(docFreq=3, maxDocs=3)

        0.25 = fieldNorm(field=title, doc=2)

  0.6666667 = coord(2/3)


通过结果能够印证评分公式的计算过程

tongnan_1984
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lucene4.5源码分析系列：lucene的默认评分算法-向量空间模型（Vector Space Model）
笨狐狸
10-23 5835
aa
Lucene打分公式详解(TFIDFSimilarity)
热门推荐
黄智霖的博客
04-15 1万+
本文章基于Lucene5.5，对其默认使用的打分公式(TFIDFSimilarity)进行解析 一、余弦相似度算法 由于网络上有很多关于VSM(向量空间模型)的解释，这里就不花费篇章做基本理论的描述了，只总结一下算法即可。给定两个文本，按照余弦相似度算法进行相似度度量一般需要以下步骤： 1、提取词条(term)进行向量化。也就是将文本进行分词，每个不同的词都表示为一个term（也就是维度）。...
Lucene学习总结之六：Lucene打分公式的数学推导
diebiaosang4496的博客
03-07 221
在进行Lucene的搜索过程解析之前，有必要单独的一张把Lucene score公式的推导，各部分的意义阐述一下。因为Lucene的搜索过程，很重要的一个步骤就是逐步的计算各部分的分数。 Lucene的打分公式非常复杂，如下： 在推导之前，先逐个介绍每部分的意义： t：Term，这里的Term是指包含域信息的Term，也即title:hello和content:hello是不同的T...
lucene评分公式详解
04-10
本文档详细介绍了lucene中的评分公式以及每个部分的作用，以及如何修改评分公式影响打分。
lucene源代码学习之 lucene的经典打分过程
weixin_34061482的博客
02-26 120
Lucene中默认的打分模型是VSM（Vector Space Model），其打分公式如下：看到很多文章都是对这个公式进行解析，但问题的关键在于看了一大段的解析之后，依然不懂其中的细节。我们直接从例子入手：建立如下的索引：publicclass LuceneDemo { Directory d; Analyzer analyzer; public LuceneDemo() throws IO...
lucene打分公式解释
09-28
lucene打分公式解释，非常详细，帮助理解搜索ranking.
lucene 自定义评分
05-01
然而，Lucene 的默认评分机制可能无法满足所有场景下的需求，这就需要我们对其进行自定义评分来实现特定的权重分配。本文将深入探讨如何在 Lucene 中实现自定义评分，以及它对提高搜索质量的重要性。 在 Lucene 中...
Lucene 评分机制
04-03
在深入探讨Lucene的评分机制之前，我们首先要理解搜索引擎的基本工作流程，这通常包括索引构建、查询解析和结果排序三个阶段。在Lucene中，评分机制（Scoring Mechanism）就是用于决定文档与查询匹配程度的关键部分...
lucene:lucene技术细节
05-01
**Lucene技术详解** Lucene是一个高性能、全文检索库，由Apache软件基金会开发并维护，是Java编程语言中广泛使用的搜索引擎库。它提供了强大的文本分析、索引构建、查询解析和结果排序等功能，使得开发者可以轻松地...
细说Lucene打分公式
csy463168656的专栏
12-05 739
之前有一篇讲解Lucene的打分的，但是那个讲的太浅显了，偶然在网上看到一篇讲的很详细，转载过来，希望对自己有帮助。 此文章转自：http://javenstudio.org/blog/lucene-similarity-howto 如何给文档评分 Similarity类负责给文档评分。 文档评分类Similarity org.apache.lucene.search.Similarit
Lucene评分算法解释
weixin_30755709的博客
05-27 99
转载: http://www.hankcs.com/program/java/lucene-scoring-algorithm-explained.html Lucene的IndexSearcher提供一个explain方法，能够解释Document的Score是怎么得来的，具体每一部分的得分都可以详细地打印出来。这里用一个中文实例来纯手工验算一遍Lucene的评分算法，并且结合Lucene的源...
Lucene（三）评分机制
tjf的专栏
04-30 672
Reference lucene实战 第2版 3.3节 每当搜索到匹配文档时, 该文档都会被赋予一定的分值，用以反映匹配程度。该分值会计算文档与查询之间的相似程度吗，更高的分值反映了更强的相似程度和匹配程度。Lucene如何评分 lucene对查询语句和对应匹配文档之间进行相似度评分。分值计算方式为查询语句（q）中每一项（t）与文档（d）的匹配分值之和。 ∑t in q(tf(t in d)×i
lucene打分机制
iteye_2022的博客
11-12 144
一：相似度算法 lucene采用的是基于VSM（向量空间模型）的相似度算法， 查询向量（query vector）与搜索出来的文档向量（document vector） 形成N个夹角，计算q 和d 之间的夹角，最小的 就是相 似度最高的。 二：lucene的打分公式 看下lucene的打分公式： tf： 一个term在一个文档中出现的次数 idf：一个term在多少个文档中出...
Lucene评分规则机制
sunyang098的博客
11-16 3000
最近部门把公司的搜索业务接过来了，搜索使用的solr，需要研究下solr的评分机制，solr评分规则引用的是Lucene，简单整理了下Lucene评分规则，如下。 1      简介 Lucene默认是按照评分机制对每个Document进行打分，然后在返回结果中按照得分进行降序排序。 Lucene的评分是叫做TF/IDF算法，基本意思就是词频算法。 根据分词词库，所有的文档在建立索
Lucece评分公式相关性实践(下)
qqwwssaagg的博客
08-20 1252
背景： ES5及后面版本使用的Lucene6.2，所以默认使用的BM25评分公式，我们实践一下，看看BM25公式对打分的影响。 1、BM25配置实验 1）准备索引 建立mapping， 使用IK分词器 测试也可以用空格分词器， 建立一个shard为了结果统一好看一些，因为评分是在Lucene中进行的，所以多个shard的IDF和字段平均长度 不是全局的，每个shard中的Index值是不一至。 设置默认和自定义两个评分器，分别配置到text和title中。 { "settings": { "nu
lucene 评分机制研究
weixin_30328063的博客
04-13 113
评分公式 1.coord(q,d),查询覆盖率 /** Implemented as <code>overlap / maxOverlap</code>. */ @Override public float coord(int overlap, int maxOverlap) { return overlap / (float)max...
lucene score explain 评分解释说明
rabbit9898
11-16 247
通过Searcher.explain(Query query, int doc)方法可以查看某个文档的得分的具体构成。 [b]在Lucene中score简单说是由 tf * idf * boost * lengthNorm计算得出的。 [/b] [i](复杂的请看相关文档)。[/i] tf：是查询的词在文档中出现的次数的平方根 idf：表示反转文档频率，观察了一下所有的文档都一样，...
Lucene的评分(score)机制的简单解释
周红伟讲AI
05-31 3383
 Lucene的评分(score)机制的简单解释 博客分类： Lucene lucene编程Apachethread  通过Searcher.explain(Query query, int doc)方法可以查看某个文档的得分的具体构成。 在Lucene中score简单说是由 tf * idf * boost * lengthNorm计算得出的。 tf：是
Lucene4.10使用教程(七)：Lucene的自定义评分
七夜之家
01-14 9912
自定义评分的第一种实现方式，详细内容可以查看代码注释 package com.johnny.lucene04.advance_search.selfScore; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.lucene
lucene的评分系统
最新发布
05-30
Lucene的评分系统是基于向量空间模型（Vector Space Model）的。该模型将文档和查询表示为向量，并计算它们之间的相似度。Lucene使用tf-idf（term frequency - inverse document frequency）来计算每个词项的权重。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值