特征提取名词解释
1.特征提取对应着特征项的选择和特征权重的计算。
2.特征项的选择就是指根据某个评价指标独立的对原始特征项(词语)进行评分排序,从中选取得分最高的一些特征项,过滤掉其余的特征项。
3.特征权重的计算:主要思路是依据一个词的重要程度与类别内的词频成正比(代表性),与所有类别中出现的次数成反比(区分度)。
基于统计的特征提取方法(构造评估函数)
TF-IDF
词频(TF)公式= 某个词在文章中的出现次数 / 文章的总词数
逆文档频率(IDF)公式 = log(语料库的文档总数 / (包含该词的文档数+1))
公式:TF-IDF = TF * IDF
TF解释:词频,计算该词描述文档内容的能力
IDF解释:逆向文档频率,用于计算该词区分文档的的能力
思想:一个词的重要程度与在类别内的词频成正比,与所有类别出现的次数成反比。
评价:TF-IDF的精度并不是特别高。TF-IDF并没有体现出单词的位置信息。