决策树
信息熵的公式及作用
信息增益
认知
if-then结构
历史
分而治之 -------》CLS ----------》
引入信息熵增益 -------》ID3 ----------》
------》 -------》C4.0
引入信息熵增益率 -------》C4.5- --------》
-------》引入Gini指数- -------》CART
分类原理
三要素
特征选择
- 最重要
- 方法、方式多样,都基于贪心算法
- 三种经典指标
- 信息熵
- 纯度:
- 越小越好
- 对属性值多的偏好
-
- 信息增益
- 选择条件后信息熵的变化,避免对属性值多的偏好
- 越大越好
- 对属性值少的偏好
- Gini
- 利用权重,避免对属性值少的偏好
- 信息熵
决策树生成
- 目的:获取模型
剪枝
减轻过拟合现象
两种
- 预
- 构造时剪枝
- 加入新节点及其分支前精度>后 -----》 不剪枝
- 后
- 构造完成后剪枝
- 从叶节点 -----》根节点
- 去掉节点及其分支>=原节点 -----》 剪枝
- 精度不变,树(各子树)的高度越小越好
流程
-
生成节点
-
循环
优劣
优:可解释
劣势:sklearn. tree.DecisionTree的model不支持缺失值数据