TF-idf

机器学习-TF–IDF

1.词袋法(BOW)：该模型忽略文本的语法和语序，用一组无序的单词来表达一段文字或一个文档，词袋法中使用单词在文档中出现的次数(频数)来表示文档。

2.词集法(SOW):是词袋法的一种变种，原理同词袋法一样，是以文档中的单词来表示文档的一种模型，区别在于：词袋法使用的是单词的频数，而在词集法中使用的是单词是否出现，如果出现赋值为1，否则为0.

3.如何评估一个单词对于一个文本的重要性呢？
· 单词的重要性随着它在文本中出现的次数成正比增加，也就是单词的出现次数越多，该单词对于文本的重要性就越高。
· 同样单词的重要行会随着语料库中出现的频率成反比下降，也就是单词在语料库中出现的频率越高，表示该单词越常见，也就是该单词对于文本的重要性越低。
4.TF-IDF是一种常用的用于信息检索与数据挖掘的常用加权技术，TF是词频，IDF是逆向文件频率，
TF-IDF可以反应预料中单词对文档/文本的重要程度 。
假设单词用t表示，文档用d表示，语料库用D表示,那么N(t,D)表示包含单词t的文档数量，|D|表示文档数量，|d|表示文档d中的所有单词数量，N(t,d)表示在文档d中单词t出现的次数。