TF-IDF算法介绍

首先，先解释一下tf-idf存在的意义是啥。在上篇分享的“文本的相似度 Sentence Similarity”内容的最后有提到统计每个特征词在文档中出现的次数，把次数作为特征词的权重，是不够准确的。

例如：

S1 = “上海 营业部 地址 在 哪里” = (1,0,1,1,1,1)

S2 = “北京 营业部 地址 在 哪里” = (0,1,1,1,1,1)

利用余弦相似度（计数特征）计算出相似度为0.8，这个数字是比较高的，但在问答系统是完全不同的答案，因此就会出现答非所问的情况。为什么会出现这种问题呢？根据上面的例子，在询问营业部地址这类问题中，城市名字的重要性比其他词高，但是在单纯的词频计算相似度中，“北京”和“在”权重都为1，这是不符合实际情况的，因此导致误差。下面，我们来介绍一个tf-idf到底是啥意思。Tf是Term Frequency的简称，中文翻译词频，idf是Inverse Document Frequency，中文翻译逆文本频率。废话不多说，介绍下公式三步骤，并举例说明。

• 公式

1. TF = 特征词在一篇文档中出现的次数/这篇文档所有词的个数
2. IDF = ㏒（所有文章数/含特征词的文章数）