tf-idf

https://baike.baidu.com/item/tf-idf/8816134?fr=ge_ala

一、tf-idf的物理意义

tf-idf通过词频统计的方法得到某个词对一篇文档的重要性大小（没有考虑语义信息）。

二、tf值（term frequency）

某个词的tf值计算公式如下：

tf=n/N

n表示某个词在文档中出现的次数，N表示文档中所有词出现的次数总和，这是一个归一化的过程，目的是消除文档篇幅长短上的差异。

三、idf值（inverse document frequency）

某个词的idf值计算公式如下：

idf=lg[D/(1+d)]

D表示语料中所有的文档总数，d表示语料中出现某个词的文档数量，公式中的1是为了防止分母为0的情况，lg是以10为底的对数，具有类似于增强区分度的作用（拥挤的值尽可能散开，离群的值尽可能合拢）。

四、tfidf值

最终tfidf值为两者的乘积：

tfidf=tf∗idf

用tfidf值可以弱化常见词，保留重要的词。若某个词在某个文档中是高频词，在整个语料中又是低频出现，那么这个词将具有高tfidf值，它对这篇文档来说，就是关键词，或主题词。