传统文本相似度算法

TF-IDF

TF-IDF（Term Frequency-inverse Document Frequency）是一种针对关键词的统计分析方法，用于评估一个词对一个文件集或者一个语料库的重要程度。一个词的重要程度跟它在文章中出现的次数成正比，跟它在语料库出现的次数成反比。这种计算方式能有效避免常用词对关键词的影响，提高了关键词与文章之间的相关性。

其中TF指的是某词在文章中出现的总次数，该指标通常会被归一化定义为：
$$t{f}_{i,j}=\frac{n_{i,j}}{{\sum }_k{n}_{k,j}}$$

以上式子中$n_{i,j}$是该词在文件$d_j$中的出现次数，而分母则是在文件$d_j$中所有字词的出现次数之和。通俗的来讲，TF= (某词在文档中出现的次数/文档的总词量)，这样可以防止结果偏向过长的文档（同一个词语在长文档里通常会具有比短文档更高的词频）

IDF为逆向文档频率，包含某词语的文档越少，IDF值越大，说明该词语具有很强的区分能力，
$$ID{F}_i=\lg \frac{|D|}{|j:t_i\in d_j|+1}$$

以上式子中，$|D|$表示语料库中的文件总数，$|j:t_i\in d$