1 bm25
说到bm25
算法,那么就不得不说一下TF-IDF
了,关于TF-IDF
,解释如下:
1.1 TF-IDF
介绍
TF
:Term Frequency
即词频,是文本中某个词出现的次数
IDF
:Inverse Document Frequency
即逆文本频率,那么关键是理解IDF
的含义,首先我们给出IDF
的计算公式:
解释符号的含义:N是代表文本总数,N(x)是代表文本中含有x这个词的文本总数。直观来看,若一个词在所有的文本中都有出现,那么这个词的IDF
应该是0,相反,如果一个词的只是出现一次,那么这个词的IDF
应该是为1的。
两者的乘积即代表了某一个词的TF-IDF
的值: