td-idf理解

定义

TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)。

公式（个人理解版）

以二维向量距离，更多维向量以此推类

分子为向量的点乘，分母为距离

$tf=文档d中词w出现的次数$

$idf=\log \frac{N}{N(w)}（N为文档总量，N(w)为这个词出现在多少文档中）$

$TFIDF=tf\times idf$

个人理解

降低高频词如（的，了）等在全文中相似度的比重，增强出现频次小的词对相似度结果的影响

举例说明

简单举例，三个简单的中文句子：

分词后的句子1：今天|的|天气|真|不错
分词后得句子2：今天|的|晚饭|里|也|有|很多|肉|
分词后得句子3：昨天|的|晚饭|有|很多|肉|还|不错

生成以上三个句子所用的词典：

词典：[今天，的，天气，真，不错，晚饭，里，也，有，很多，肉，昨天，还]
这个是13维的字典

根据字典统计三个句子中，每个词出现频率：

句子1：[1，1，1，1，1，0，0，0，0，0，0，0，0]
句子2：[1，1，0，0，0，1，1，1，1，1，0，0，0]
句子3：[0，1，0，0，1，1，0，0，1，1，1，1，1]

用TFIDF的方式生成向量
句子1：[$\log \frac{3}{2}$，$\log \frac{3}{3}$，$\log \frac{3}{1}$，$\log \frac{3}{1}$，1$\log \frac{3}{1}$，0，0，0，0，0，0，0，0]
句子2：[$\log \frac{3}{2}$，$\log \frac{3}{3}$，0，0，0，$\log \frac{3}{2}$，$\log \frac{3}{1}$，$\log \frac{3}{1}$，$\log \frac{3}{2}$，$\log \frac{3}{2}$，0，0，0]
句子3：[0，$\log \frac{3}{3}$，0，0，$\log \frac{3}{2}$，$\log \frac{3}{2}$，0，0，$\log \frac{3}{2}$，$\log \frac{3}{2}$，$\log \frac{3}{2}$，$\log \frac{3}{1}$，$\log \frac{3}{1}$]

后续可使用这些向量计算文本相似度等