吃瓜笔记4 决策树decision tree
所有知识点均来源于周志华西瓜书机器学习
4.2 划分选择
决策树的关键:选择最优划分属性,使节点的纯度越来越高
信息熵:度量样本集合纯度的常用指标
信息熵增益:增益越大,划分所得纯度提升越多。ID3算法
信息熵增益准则偏向可取值数目较多的属性?
增益率:偏向可取值数目较少的属性?
C4.5算法:先找信息增益高于平均的属性,再选其中增益率最高的。
基尼值:从数据集D中随机抽取两个样本,其类别标记不一致的概率。度量样本集合纯度的常用指标。
基尼指数:划分后基尼指数越小越优。CART算法
4.3剪枝处理
目的:对付 决策树过拟合
预剪枝:节点划分前估计泛化性能。在验证集上计算划分前后精度
后剪枝:从完整树底部向上考察泛化性能
4.4 连续与缺失值
连续值:常采用二分法
缺失值: