【复习笔记】决策树学习

决策树适用问题的特征：

1、实例由“属性-值”对(pair)表示
2、目标函数具有离散的输出值
3、可能需要析取的描述
4、训练数据可以包含错误
5、训练数据可以包含缺少属性值的实例

ID3算法特点：

1、搜索完整的假设空间（也就是说，决策树空间能够表示定义在离散实例上的任何离散值函数）
2、从根向下推断决策树，为每个要加入树的新决策分支贪婪地选择最佳的属性。
3、归纳偏置，优先选择较小的树

观察ID3的搜索空间和搜索策略，认识到这个算法的优势和不足：

假设空间包含所有的决策树，它是关于现有属性的有限离散值函数的一个完整空间
维护单一的当前假设（不同于变型空间候选消除算法）
不进行回溯，可能收敛到局部最优
每一步使用所有的训练样例，不同于基于单独的训练样例递增作出决定，容错性增强

ID3和候选消除算法的比较：

ID3的搜索范围是一个完整的假设空间，但不彻底地搜索这个空间
候选消除算法的搜索范围是不完整的假设空间，但彻底地搜索这个空间

ID3的归纳偏置完全是搜索策略排序假设的结果，来自搜索策略
候选消除算法完全是假设表示的表达能力的结果，来自对搜索空间的定义

过度拟合：

对于一个假设，当存在其他的假设对训练样例的拟合比它差，但事实上在实例的整个分布上表现得却更好时，我们说这个假设过度拟合训练样例。

导致过度拟合的原因