第四章 决策树
几个基础公式
信息熵
### 信息增益
![信息增益](https://i-blog.csdnimg.cn/blog_migrate/900e21dd26ce6eaf321dcee7c261e385.png)
增益率
单纯使用信息增益作为选择最优划分属性的指标,会导致对可取值数目较多的属性有所偏好,决策树更易缺少泛化性,因此使用"增益率"作为选择指标.
IV(a)是属性a的固有值,a属性的取值可能数目越多,固有值越大。增益率对可取值数目较少的属性有所偏好。
基尼指数
基尼指数是在基尼值的基础上计算的,基尼指数越小则数据集纯度越高。
剪枝处理
决策树对付过拟合的主要手段
预剪枝
在决策树生成过程中对每个节点进行评估,除去对决策树泛化性能无帮助的节点
后剪枝
先生成决策树,再从下往上考察节点,精简决策树。