决策树适用问题的特征:
1、实例由“属性-值”对(pair)表示
2、目标函数具有离散的输出值
3、可能需要析取的描述
4、训练数据可以包含错误
5、训练数据可以包含缺少属性值的实例
ID3算法特点:
1、搜索完整的假设空间(也就是说,决策树空间能够表示定义在离散实例上的任何离散值函数)
2、从根向下推断决策树,为每个要加入树的新决策分支贪婪地选择最佳的属性。
3、归纳偏置,优先选择较小的树
观察ID3的搜索空间和搜索策略,认识到这个算法的优势和不足:
假设空间包含所有的决策树,它是关于现有属性的有限离散值函数的一个完整空间
维护单一的当前假设(不同于变型空间候选消除算法)
不进行回溯,可能收敛到局部最优
每一步使用所有的训练样例,不同于基于单独的训练样例递增作出决定,容错性增强
ID3和候选消除算法的比较:
ID3的搜索范围是一个完整的假设空间,但不彻底地搜索这个空间
候选消除算法的搜索范围是不完整的假设空间,但彻底地搜索这个空间
ID3的归纳偏置完全是搜索策略排序假设的结果,来自搜索策略
候选消除算法完全是假设表示的表达能力的结果,来自对搜索空间的定义
过度拟合:
对于一个假设,当存在其他的假设对训练样例的拟合比它差,但事实上在实例的整个分布上表现得却更好时,我们说这个假设过度拟合训练样例。
导致过度拟合的原因