决策树:基于树状结构对分类任务进行属性的划分决策
基本思想:将样本越分越纯
一个根结点,若干个内部节点(属性测试),若干个叶节点(决策结果)
1.ID3决策树:
缺陷:信息增益偏好属性可取值较多的,与此同时发生过拟合的可能性大大增加
2.信息熵:越小纯度越高
------>需要多少的信息量才能将数据集划分干净
3.信息增益:越大纯度提升越大
4.C4.5:解决ID3的缺陷,信息增益除以一个固定值
属性划分时需要注意:平衡信息增益与决策树泛化能力
5.GINI
CART:
基尼指数:计算的数值越低,数据集的纯度越高
其相关的算法步骤如下所示:
6.剪枝处理-->降低过拟合
适用范围:单决策树一定需要进行剪枝
方法:前后剪枝
连续值:
划分候选节点:属性值取中位数(17个值可以取16个中位数)
最优划分节点:取该点时,信息增率MAX
缺失值:让同一个样本(含该属性值缺失值的)以不同的概率(权重)划入到不同的子结点中
7......