统计学习笔记：决策树

决策树算法包括：特征选择、决策树的生成、决策树的剪枝。

决策树的生成对应于模型的局部选择，决策树的剪枝对应于模型的全局选择。

决策树的生成只考虑局部最优，决策树的剪枝则考虑全局最优。

 

1 特征选择

如果一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征没有分类能力。

1.1 信息增益

信息熵：

条件熵：

信息增益：

经验熵表示对数据集D分类的不确定性；

经验条件熵表示在特征A给定的条件下对数据集D分类的