BM25算法是一种用于文本相似度计算的方法，它考虑了词频（TF）和逆文本频率（IDF）的动态平衡。通过对词的重要性和文档长度的调整，BM25能更准确地反映文本中每个词的重要性，避免了简单词频统计可能导致的问题。算法的核心是计算每个词的相关度，并累加得到整体的相似度分数。
1 bm25
说到bm25算法，那么就不得不说一下TF-IDF了，关于TF-IDF，解释如下：
1.1 TF-IDF介绍
TF：Term Frequency即词频，是文本中某个词出现的次数
IDF:Inverse Document Frequency即逆文本频率，那么关键是理解IDF的含义,首先我们给出IDF的计算公式：
解释符号的含义：N是代表文本总数，N(x)是代表文本中含有x这个词的文本总数。直观来看，若一个词在所有的文本中都有出现，那么这个词的IDF应该是0，相反，如果一个词的只是出现一次，那么这个词的IDF应该是为1的。
两者的乘积即代表了某一个词的TF-IDF的值:
最低0.47元/天 解锁文章
1369
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
