【BM25和TFIDF比较 精华】

BM25和TF-IDF是两种常用的文本相关性评分算法，虽然它们都有助于评估单词在文档中的重要性，但它们的具体计算方法和应用场景有所不同。以下是两者的主要区别：

1. 基本原理

• TF-IDF（Term Frequency-Inverse Document Frequency）：

  • 词频（TF）：衡量单词在文档中出现的频率。
  • 逆文档频率（IDF）：衡量单词在所有文档中出现的普遍程度，稀有单词的权重较高。
  • 组合公式：通过将TF和IDF相乘，计算单词在文档中的重要性。

• BM25（Okapi BM25）：

  • 基于概率检索模型，考虑了词频、逆文档频率和文档长度归一化。
  • 词频（TF）：非线性变换处理，避免词频过高的单词影响过大。
  • 逆文档频率（IDF）：计算方式与TF-IDF相似，但略有不同。
  • 文档长度归一化：引入参数进行文档长度的调节，确保长文档和短文档的评分公平。

2. 公式和计算

• TF-IDF：
  $$\text{TF}(t,d)=\frac{f_{t,d}}{{\sum }_{t^{\prime }\in d}{f}_{t^{\prime },d}}$$

符号解释

• $f$ 表示频率（frequency），通常用于表示某个事件的次数。
• 下标$t$ 表示特定的词项（term）。
• 下标 $d$表示特定的文档（document）。
• 使用$f_{t,d}$ 这种记号，可以简洁明了地表示词 $t$在文档$d$中的出现次数。
• 例如， $x_{i,j}$通常表示矩阵中的元素， $y_k$通常表示向量中的元素，

$f_{t,d}$是词$t$ 在文档 $d$ 中出现的次数。
换句话说， $f_{t,d}$是一个整数，表示该词在该文档中的频率。

$$\text{IDF}(t)=\log \frac{N}{1+\text{DF}(t)}$$

• 文档频率（Document Frequency, DF）

• $DF(t)$ 是包含词项 $t$的文档数目
  $$\text{TF-IDF}(t,d)=\text{TF}(t,d)\times \text{IDF}(t)$$

• BM25：
  $$\text{Score}(D,Q)=\sum _{q_i\in Q}\text{IDF}(q_i)\cdot \frac{\text{TF}(q_i,D)\cdot (k_1+1)}{\text{TF}(q_i,D)+k_1\cdot (1-b+b\cdot \frac{|D|}{\text{avgdl}})}$$
  $$\text{IDF}(q_i)=\log \frac{N-\text{DF}(q_i)+0.5}{\text{DF}(q_i)+0.5}$$

• 假设查询中包含多个词，每个词的IDF和计算结果都不同，最后将所有词的评分相加，得到最终的相关性评分

• $\text{Score}(D,Q)$是文档 (D) 和查询 (Q) 之间的相关性评分。

2. 逆文档频率（IDF）：
   • $\text{IDF}(q_i)$ 是查询词 $q_i$ 的逆文档频率，表示该词在整个文档集合中的稀有程度。
   • 计算公式为：
     $\text{IDF}(q_i)=\log \left(\frac{N-\text{DF}(q_i)+0.5}{\text{DF}(q_i)+0.5}\right)$
     其中，$N$ 是文档集合中的总文档数，$\text{DF}(q_i)$是包含词$q_i$ 的文档数。

• $k_1$是调节词频饱和度的参数，常见取值范围为1.2到2.0。$k_1$增大时，词频的影响增强，但其影响是非线性的，增长到一定程度后会逐渐趋于平稳。
• $b$是调节文档长度归一化程度的参数，常见取值范围为0.75到1.0。$b=1$,完全进行文档长度归一化，即文档越长，词频影响越小

6. 文档长度归一化：
   • $|D|$ 是文档 $D$的长度，即文档中的总词数。
   • $\text{avgdl}$是所有文档的平均长度。
   • 文档长度归一化项为：
     $$1-b+b\cdot \frac{|D|}{\text{avgdl}}$$

4. 应用场景

• TF-IDF：简单直接，适用于初步的文本分析和信息检索任务。由于没有参数调整，适用范围较广，但在面对不同长度文档时可能不够灵活。

• BM25：更加复杂和精确，适用于需要高质量检索结果的场景。通过调节参数，可以针对不同类型的文档集合进行优化，常用于现代搜索引擎和高级信息检索系统。

总结

• TF-IDF 是一种简单的加权机制，通过词频和逆文档频率来衡量单词的重要性。
• BM25 是一种更复杂的算法，通过引入非线性词频变换和文档长度归一化，提供了更精确的文档相关性评估，适合需要高精度检索结果的应用场景。

在信息检索系统中，BM25主要用于排序阶段，即对已经召回的文档进行相关性评分和排序。然而，在召回阶段，BM25本身并不是直接使用的工具。召回阶段通常依赖于索引和搜索机制来获取一个初步的文档集合，然后再对这些文档使用BM25进行排序。

召回阶段的基本流程

1. 建立索引：

   • 对所有文档进行预处理（如去除停用词、词干提取等），并建立倒排索引（Inverted Index）。
   • 倒排索引记录每个词项在哪些文档中出现，以及出现的位置和频次。

2. 查询处理：

   • 对用户查询进行预处理（如去除停用词、词干提取等），以便与索引中的词项进行匹配。

3. 初步召回：

   • 使用倒排索引查找包含查询中词项的所有文档。
   • 这个步骤通常会返回一个初步的文档集合，这个集合可能很大，但包含了所有可能与查询相关的文档。

排序阶段的基本流程

在召回阶段得到初步的文档集合后，进入排序阶段，这时BM25算法发挥作用。

1. 计算BM25相关性评分：

   • 对召回的每个文档，使用BM25公式计算其与查询的相关性评分。

2. 排序：

   • 按照BM25相关性评分对文档进行排序，将最相关的文档排在前面。

示例流程

假设我们有一组文档和一个查询，我们将演示如何使用BM25进行召回和排序：

1. 建立索引

文档集合：

• D1: “the cat in the hat”
• D2: “the cat is on the mat”
• D3: “there is a cat with a hat”

建立倒排索引：

{
  "the": [D1, D2, D3],
  "cat": [D1, D2, D3],
  "in": [D1],
  "hat": [D1, D3],
  "is": [D2, D3],
  "on": [D2],
  "mat": [D2],
  "there": [D3],
  "with": [D3],
  "a": [D3]
}

2. 查询处理

查询：“cat hat”

预处理后得到的词项：[“cat”, “hat”]

3. 初步召回

使用倒排索引查找包含 “cat” 和 “hat” 的文档：

• “cat” -> [D1, D2, D3]
• “hat” -> [D1, D3]

初步召回的文档集合：D1, D2, D3

4. 计算BM25相关性评分并排序

使用前述BM25算法对每个文档计算相关性评分，并按评分排序。我们之前已经计算了评分：

• D1: -2.3594
• D2: -1.9459
• D3: -2.0029

排序结果：D2, D3, D1

总结

BM25在信息检索系统中主要用于排序阶段。召回阶段通常使用倒排索引和简单的布尔查询来获取一个初步的文档集合，然后对这些文档使用BM25算法进行相关性评分和排序，以得到最相关的文档排序结果。这个过程确保了用户查询能够返回高相关性的文档，从而提高用户体验。

两者的选择取决于具体应用需求和文档特性。如果需要更精细的调控和更高的准确性，BM25是更好的选择；如果需要快速且简单的文本分析，TF-IDF则更加合适。