机器学习习题（11）

1. 前言

有志者，事竟成，破釜沉舟，百二秦关终属楚；
苦心人，天不负，卧薪尝胆，三千越甲可吞吴。

2. 习题

2.1 习题1（文本分类）

下列哪个不属于常用的文本分类的特征选择算法？

A.卡方检验值

B.互信息

C.信息增益

D.主成分分析

正确答案：D

解析：

常采用特征选择方法。常见的六种特征选择方法：

1）DF(Document Frequency) 文档频率
DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性

2）MI(Mutual Information) 互信息法
互信息法用于衡量特征词与文档类别直接的信息量。
如果某个特征词的频率很低，那么互信息得分就会很大，因此互信息法倾向”低频”的特征词。
相对的词频很高的词，得分就会变低，如果这词携带了很高的信息量，互信息法就会变得低效。

3）(Information Gain) 信息增益法
通过某个特征词的缺失与存在的两种情况下，语料中