吃瓜笔记4

吃瓜笔记4 决策树decision tree

所有知识点均来源于周志华西瓜书机器学习

4.2 划分选择

决策树的关键：选择最优划分属性，使节点的纯度越来越高

信息熵：度量样本集合纯度的常用指标
信息熵增益：增益越大，划分所得纯度提升越多。ID3算法
信息熵增益准则偏向可取值数目较多的属性？
增益率：偏向可取值数目较少的属性？
C4.5算法：先找信息增益高于平均的属性，再选其中增益率最高的。

基尼值：从数据集D中随机抽取两个样本，其类别标记不一致的概率。度量样本集合纯度的常用指标。
基尼指数：划分后基尼指数越小越优。CART算法

4.3剪枝处理

目的：对付 决策树过拟合
预剪枝：节点划分前估计泛化性能。在验证集上计算划分前后精度
后剪枝：从完整树底部向上考察泛化性能

4.4 连续与缺失值

连续值：常采用二分法
缺失值：