TF-IDF 通俗解释

特征提取名词解释

1.特征提取对应着特征项的选择和特征权重的计算。

2.特征项的选择就是指根据某个评价指标独立的对原始特征项(词语)进行评分排序，从中选取得分最高的一些特征项，过滤掉其余的特征项。

3.特征权重的计算：主要思路是依据一个词的重要程度与类别内的词频成正比(代表性)，与所有类别中出现的次数成反比(区分度)。

基于统计的特征提取方法（构造评估函数）

TF-IDF

词频（TF）公式= 某个词在文章中的出现次数 / 文章的总词数

逆文档频率（IDF）公式 = log(语料库的文档总数 / （包含该词的文档数+1）)

公式:TF-IDF = TF * IDF

TF解释：词频，计算该词描述文档内容的能力

IDF解释：逆向文档频率，用于计算该词区分文档的的能力

思想：一个词的重要程度与在类别内的词频成正比，与所有类别出现的次数成反比。

评价：TF-IDF的精度并不是特别高。TF-IDF并没有体现出单词的位置信息。