西瓜书第四章笔记

决策树：基于树状结构对分类任务进行属性的划分决策

基本思想：将样本越分越纯

一个根结点，若干个内部节点（属性测试），若干个叶节点（决策结果）

 

1.ID3决策树：

缺陷：信息增益偏好属性可取值较多的，与此同时发生过拟合的可能性大大增加

2.信息熵：越小纯度越高

------>需要多少的信息量才能将数据集划分干净

3.信息增益：越大纯度提升越大

4.C4.5：解决ID3的缺陷，信息增益除以一个固定值

 属性划分时需要注意：平衡信息增益与决策树泛化能力

5.GINI

CART:

基尼指数：计算的数值越低，数据集的纯度越高

其相关的算法步骤如下所示： 

 

 6.剪枝处理-->降低过拟合

适用范围：单决策树一定需要进行剪枝

方法：前后剪枝

连续值：

划分候选节点：属性值取中位数（17个值可以取16个中位数）

 

最优划分节点：取该点时，信息增率MAX

缺失值：让同一个样本（含该属性值缺失值的）以不同的概率（权重）划入到不同的子结点中

 7......