Day 41: tf-idf 分析问题

2020/1/23

介绍TF，IDF

上一篇文章介绍了可以利用sklearn工具 把文章特征值化。文章特征值化最常见的应用就是 文章分类。比如说一篇文章经常提到一个词，那么这个文章的主题大概率就是和这个词相关。

像第一饼图 大概率讲的是和共享车相关，第二个饼图大概率讲的是和银行经济相关。像“我，明天，做”这些都是其他词语，其他词语的比例占的是最多的，所以这时候就要用到TF（term frequency），IDF （inverse document frequency）来确认词语的重要性。
TF：词语在文章中出现的频率
IDF： log（总文章数/该词出现的文档数）
词语的重要性： TF * IDF 所以说如果词语在很多文章中出现那么这个词的重要性就很低，方便我们进行分类判断。

TF-IDF 类的使用

sklearn.feature_extraction.text.TfidfVectorizer

• TfidfVectorizer(stop_words=None):返回词的权重矩阵