相关性算法TF/IDF

TF/IDF算法简称词频/逆向文档频率

例子：

文档1:我爱你中国，亲爱的母亲。（我爱你 中国 亲爱的 母亲）

文档2:中国的复兴梦。（中国 复兴 梦）

文档3:热爱祖国，热爱人民（热爱 祖国 人民）

TF（词频）：一个词在文档中出现的频率，比如搜索 ‘中国’ 一词，在文档一中出现的次数为1词，我们可以简单的把词频看作是1，‘热爱’ 在文档3中出现的频率就为2。

IDF（逆向文档频率）：一个词在所有文档中出现的频率，可以简写为  总的文档数 / 包含这个词的文档数，也就是说，这个词在所有文档中出现的次数越少，就体现出该词更加特殊，更具有代表性。比如搜索词中的 ‘的，啊，么’，这类无意义的语气助词，在大量的文档中出现，这类词的通过IDF的计算方法，是他们对文档的相关度降的更低。（这类词通常被设置为停用词，在文档和搜索词预处理的 时候就会去掉该类词，不对该类词进行评分操作）

一个词对于文档的相关性就 = TF（词频）/  IDF（逆向文档频率）

简单解释为：词在文档中出现的次数越多，相关性越大，含有该词的文档数越少，相关性就越大。

当然，这只是简单的理解方式，在不同场景下，TF/IDF的计算方式也不尽相同，但是，殊途同归，都是利用词频和逆向文档频率来计算相关度。